株式会社renue
renueについて
renueは、AIで業務を実装する会社です
AIコンサルティングから図面AI・広告運用エージェント・コールセンターAIまで、実際に動いているサービスをご覧いただけます。renueが何をしている会社か、まずはサービス一覧からご確認ください。
LLMベンチマークとは|公開スコアの正しい読み方
LLMベンチマークは、大規模言語モデルの能力を客観的・比較可能な形で評価する標準テストセットです。各社は新モデル発表時に必ずベンチマークスコアを提示しますが、スコアを鵜呑みにすると実業務で期待外れになることが頻発します。2026年時点の主要論点は次の3つ:
- MMLUの上位スコアだけで能力を判断しない。共通のスコア帯は示しません。高スコアだけで全モデルの差別化能力喪失や差の統計的有意性を断定しません
- GPQA Diamond / SWE-bench Verified / AIME 2025 / Humanity's Last Exam等の次世代ベンチが主役に
- 英語ベンチの高スコア ≠ 日本語性能というギャップが依然として存在
本記事では主要ベンチマーク(MMLU/MMLU-Pro/GPQA Diamond/HumanEval/SWE-bench Verified/AIME 2025/ARC-AGI/Humanity's Last Exam/MT-Bench/Chatbot Arena Elo/JGLUE/Japanese MT-Bench等)の解説、業務シーン別の読み方、そして実務でベンチマークに騙されないための6原則を解説します。モデル選定全体はLLM API徹底比較、評価指標の設計はLLM評価指標、RAG評価はRAG評価も参照してください。
主要ベンチマーク15選と意味
| ベンチマーク | 評価内容 | 2026年の位置付け |
|---|---|---|
| MMLU | 57科目15,000問、汎用知識・多肢選択 | 対象モデル・測定方法をそろえ、高得点だけで差が全てノイズと判定しない |
| MMLU-Pro | 12,000問×10択(MMLUは4択)、14領域、難化版 | 推奨の後継指標 |
| GPQA Diamond | 博士レベル科学(生物/化学/物理)のDiamondは198問の部分集合。Mainの448問、Extendedの546問と区別。非専門家約34%はExtendedの約34.1%に対応し、Diamondの22.1%とは別。部分集合の選別による偏りにも注意 | 科学推論の主力指標、2026年の差別化軸 |
| HumanEval | 164 Pythonコーディングタスク+単体テスト | コーディングの古典、ほぼ飽和 |
| SWE-bench | GitHub実Issueを修正、リポジトリ理解必要 | 実務コーディング評価のデファクト |
| SWE-bench Verified | 原SWE-benchから人手で選別した500課題の部分集合。課題の検証・選別は、評価用課題の継続追加や学習データ混入の完全排除を保証するものではない | 2026年のコーディング主力指標 |
| AIME 2025 | 米国高校数学オリンピック予選問題 | 数学推論の新主力 |
| GSM8K | 小学算数レベル文章題8,000問 | 飽和、古典的指標 |
| ARC-AGI | 抽象推論・パターン認識。ARC-AGIの版・分割・推論予算を指定。人間の共通正答率は示さず、対象者・問題集合・測定条件を確認 | 汎用知能の指標、上位モデルでも難度が高い |
| Humanity's Last Exam | 各分野の博士レベル最難問 | 2025-2026年の最難ベンチ |
| MT-Bench | GPT-4が採点する対話品質マルチターン80問 | 対話品質の目安 |
| Chatbot Arena(Elo) | 人間のブラインド対戦で評価 | 総合力の体感指標 |
| JGLUE | 日本語版GLUE、分類・QA・推論 | 日本語の基礎指標 |
| Japanese MT-Bench | 日本語対話品質 | 日本語対話の主要指標 |
| FrontierMath | 研究者レベル数学問題 | 最難数学、モデル能力の限界測定 |
2026年のスコア例(公開情報)
以下は、公開されたモデルカードや元の集計記載を区別した参考情報です。2026年10月の統一条件による実測ランキングではありません。ベンチの版・分割・推論予算・ツール・評価環境・試行回数・発表日をそろえて比較してください。
- GPQA Diamond:Googleの2026年2月のカードはGemini 3.1 Pro Thinking(High)94.3%、Opus 4.6 Thinking(Max)91.3%を掲載しています。評価方法ではGeminiは原則pass@1、他社値は原則として各社の自己報告を採用しています。別の公表例として、2026年10月15日確認のQwen3.5-397B-A17Bの公式カードは「GPQA」と表記して88.4を掲載しています。表の名称だけでDiamondと同じ分割・評価条件だとみなさず、比較条件を確認してください。Plusは対応するホスト版で、評価対象名も区別します。ここではGPT-5.3 CodexのGPQA Diamondスコアは示しません。BenchLM等の集計記載をそのまま同条件の順位にしないでください。
- ARC-AGI:ARC Prizeの2024年12月20日のo3評価は、ARC-AGI-1のSemi-Private/Public評価と低/高計算設定を分けています。このo3はpreviewで、2025年4月の一般公開版とは異なると同資料に明記されています。ARC-AGI-2等の別の版や、現在の製品の同一性能と混同しません
- SWE-bench Verified:Googleの2026年2月の比較表はOpus 4.6 Thinking(Max)80.8%を掲載しています。ただしモデルとエージェントの評価環境・推論予算・試行条件を確認し、異なる設定の集計を固定の首位や自社業務の成功率とみなしません
スコアは随時更新されるため、必ず各社公式と公開Leaderboard(Vellum LLM Leaderboard/LLM-Stats/BenchLM.ai等)で最新値を確認してください。
業務シーン別の読み方
| 業務 | 重視すべきベンチ | 無視してよいベンチ |
|---|---|---|
| チャットボット・対話UX | Chatbot Arena Elo / MT-Bench / Japanese MT-Bench | MMLU / HumanEval |
| コーディングエージェント | SWE-bench Verified > HumanEval | GSM8K / MMLU |
| データ分析・推論 | GPQA Diamond / AIME 2025 / ARC-AGI | HumanEval / Chatbot Arena |
| 日本語RAG・QA | JGLUE / Japanese MT-Bench + 自データ評価 | MMLU単体 |
| 数学・研究 | AIME 2025 / FrontierMath / Humanity's Last Exam | GSM8K |
| 企業文書処理 | Japanese MT-Bench + 自データLLM-as-a-Judge | HumanEval |
ベンチマーク選定の鉄則は「自分の業務と相関する指標だけを見る」ことです。HumanEvalが高くても対話UXでの使い勝手は保証されません。
ベンチマークの3つの罠
罠1: データ汚染(Benchmark Contamination)
ベンチマークの問題や解答が学習に含まれると、未知の課題への実力とスコアがずれることがあります。SWE-bench Verifiedは人手で選別した500課題の部分集合であり、継続的な新規課題の追加とは別の設計です。SWE-bench-Liveは月次の課題更新を掲げています。問題の取得時期・評価セットの版・学習期間・公開状況を確認し、どちらの名称も混入リスクがゼロになる保証としません。
罠2: 飽和(Saturation)
共通のMMLUスコア帯は示さず、対象モデル・時点・問題集合・測定設定をそろえて読みます。高得点だけでモデル間の差がすべてノイズだと断定しないでください。MMLU-Proの原研究は、問題の難化・選択肢拡張とプロンプト変動への頑健性を検討しています。同条件の再測定・試行回数・不確実性、対象業務との関係を確認し、他の難しい指標と自社データ評価を併用します。新しいベンチが常に未飽和である保証もしません。
罠3: 英語偏重
MMLU/HumanEval/GPQA等は全て英語ベンチです。これらで高スコアでも、日本語での実運用性能は保証されません。日本語RAG・日本語QAを扱う場合はJGLUE/Japanese MT-Bench + 自データ評価を必ず併用します(Reranker・Embeddingも日本語特化で選ぶ必要あり)。
主要Leaderboardサイト比較
| サイト | 特徴 |
|---|---|
| Chatbot Arena (LMSYS) | 人間ブラインド対戦Elo、体感指標のデファクト |
| Vellum LLM Leaderboard | 複数ベンチを統合、定期更新 |
| LLM-Stats / BenchLM.ai | 185モデル×126ベンチの統合比較 |
| Open LLM Leaderboard (HF) | OSSモデル中心の評価 |
| Artificial Analysis | コスト・レイテンシ・精度の3軸比較 |
| llm.extractum.io | モデル仕様とベンチを横断検索 |
自社評価とベンチマークの関係
重要な実務原則は「公開ベンチマークは初期スクリーニング、最終判断は自データ評価」です。GPQA Diamondで上位だからといって自社業務で上位とは限りません。公開ベンチマークは候補絞り込みに使い、上位3〜5モデルに対して自社のGolden Set(50〜500問)で評価するのが鉄則です(LLM評価指標)。
renueの視点|ベンチマークに騙されない6原則
複数のAIエージェントを自社運用する中で整理した、公開ベンチマークとの付き合い方を6点にまとめます。
(1) 飽和指標(MMLU/HumanEval/GSM8K)で選定しない:これらは差別化能力を失っています。代わりにMMLU-Pro/SWE-bench Verified/GPQA Diamond/AIME 2025を見ます。
(2) 業務相関指標だけを見る:コーディングならSWE-bench、対話ならChatbot Arena、数学ならAIME、科学推論ならGPQA Diamond。業務と無関係の指標で選定すると期待外れが起きます。
(3) 日本語業務は必ず日本語ベンチ+自データ:JGLUE/Japanese MT-Bench + 50〜200問の自社Golden Setで確認。英語ベンチ単体は危険です。
(4) データ汚染の疑いがある古いベンチは割り引く:HumanEval/MMLUは学習データ混入の疑いが指摘されています。SWE-bench VerifiedやFrontierMath等の新規ベンチを重視します。
(5) コスト・レイテンシと一緒に見る:精度だけでなくArtificial Analysis等でコスト/レイテンシも確認し、「精度の割に安いモデル」を探します(FinOps for AI)。
(6) 最終判断は必ず自社PoC:公開ベンチで上位3モデルに絞り、自社のGolden SetでLLM-as-a-Judge評価。この2段階で精度・コスト・レイテンシの最適解を決めます(AI RFPの評価プロセスと統合)。
よくある失敗パターン
- MMLUだけで選定:飽和指標を主な判断材料にする
- 英語ベンチ高=日本語高と誤解:日本語運用で痛い目に遭う
- ベンダー資料の数字を鵜呑み:自社データで検証せずに決定
- コスト・レイテンシを見ない:精度特化でも運用で破綻
- 公開Leaderboardの更新漏れ:古い情報で選定
- ベンチとユースケースのミスマッチ:コーディングしないのにSWE-benchで選ぶ等
よくある質問(FAQ)
Q1. MMLUは本当にもう見るべきでないですか?
初期スクリーニングに使えます。高得点で差を識別しにくくなる場合はありますが、全モデル・全業務で差別化に使えないと一律にはいえません。同じ問題集合・測定設定で比較し、試行の変動と不確実性を確認します。MMLU-ProやGPQA Diamond等との併用、最終的な自社業務データでの評価が必要です。
Q2. 日本語特化のベンチマークは何を見るべきですか?
JGLUE(基礎)+Japanese MT-Bench(対話)が標準です。ただし自社業務データでの検証が最重要です。
Q3. 推論モデル(o3/Claude Extended Thinking)はどのベンチで測りますか?
GPQA Diamond / AIME 2025 / ARC-AGI(版・分割を指定)/ Humanity's Last Exam 等で推論能力を比較します。推論予算・ツールの利用・評価設定によって結果が変わります(推論モデル)。
Q4. Chatbot Arena Eloは信頼できますか?
人間ブラインド対戦の体感指標としては最も信頼できる部類ですが、特定業務の能力を表すわけではありません。総合力の目安として使います。
Q5. renueはベンチマーク解析と選定を支援していますか?
はい。複数AIエージェント自社運用経験から、業務に応じたベンチマーク選定・自社評価セット設計・PoC評価まで一貫して支援しています。
関連記事
- LLM API徹底比較2026
- LLM評価指標完全ガイド2026
- RAG評価完全ガイド2026
- 推論モデル完全ガイド2026
- Embeddingモデル徹底比較2026
- Reranker完全ガイド2026
- FinOps for AI完全ガイド2026
- AI RFP完全ガイド2026
LLMベンチマーク解析・モデル選定のご相談はrenueへ
renueは複数のAIエージェント事業を自社運用するAIエージェント開発企業として、業務に応じたベンチマーク選定・自社評価セット設計・PoC実力評価までワンストップで支援しています。公開ベンチに振り回されない実務的なモデル選定でお困りの方はお気軽にご相談ください。
本記事の参考情報
- Vellum AI: LLM Leaderboard
- LLM-Stats: AI Leaderboard 2026
- LLM-Stats: LLM Benchmarks 2026
- BenchLM.ai: LLM Leaderboard 185 Models × 126 Benchmarks
- LXT: LLM Benchmarks Compared — MMLU, HumanEval, GSM8K and More 2026
- IBM Think: What Are LLM Benchmarks?
- Saiteki AI: LLMベンチマーク完全ガイド
- Qiita: ユースケース別 LLMベンチマーク読解ガイド
- TechTarget: LLMの実力はどう測る? 主要ベンチマーク7選
- Onyx AI: Best LLM Leaderboard 2026
