ARTICLE

LLMベンチマーク完全解説2026|MMLU飽和問題とGPQA/SWE-bench Verified/AIME/ARC-AGIの正しい読み方

2026/10/24

SHARE

LLMベンチマーク完全解説。MMLU飽和問題とGPQA/SWE-bench Verified/AIME/ARC-AGIの読み方【2026年版】

LL

LLMベンチマーク完全解説2026|MMLU飽和問題とGPQA/SWE-bench Verified/AIME/ARC-AGIの正しい読み方

ARTICLE株式会社renue
renue

株式会社renue

2026/10/24 公開

renueについて

renueは、AIで業務を実装する会社です

AIコンサルティングから図面AI・広告運用エージェント・コールセンターAIまで、実際に動いているサービスをご覧いただけます。renueが何をしている会社か、まずはサービス一覧からご確認ください。

LLMベンチマークとは|公開スコアの正しい読み方

LLMベンチマークは、大規模言語モデルの能力を客観的・比較可能な形で評価する標準テストセットです。各社は新モデル発表時に必ずベンチマークスコアを提示しますが、スコアを鵜呑みにすると実業務で期待外れになることが頻発します。2026年時点の主要論点は次の3つ:

  • MMLUの上位スコアだけで能力を判断しない。共通のスコア帯は示しません。高スコアだけで全モデルの差別化能力喪失や差の統計的有意性を断定しません
  • GPQA Diamond / SWE-bench Verified / AIME 2025 / Humanity's Last Exam等の次世代ベンチが主役に
  • 英語ベンチの高スコア ≠ 日本語性能というギャップが依然として存在

本記事では主要ベンチマーク(MMLU/MMLU-Pro/GPQA Diamond/HumanEval/SWE-bench Verified/AIME 2025/ARC-AGI/Humanity's Last Exam/MT-Bench/Chatbot Arena Elo/JGLUE/Japanese MT-Bench等)の解説、業務シーン別の読み方、そして実務でベンチマークに騙されないための6原則を解説します。モデル選定全体はLLM API徹底比較、評価指標の設計はLLM評価指標、RAG評価はRAG評価も参照してください。

主要ベンチマーク15選と意味

ベンチマーク評価内容2026年の位置付け
MMLU57科目15,000問、汎用知識・多肢選択対象モデル・測定方法をそろえ、高得点だけで差が全てノイズと判定しない
MMLU-Pro12,000問×10択(MMLUは4択)、14領域、難化版推奨の後継指標
GPQA Diamond博士レベル科学(生物/化学/物理)のDiamondは198問の部分集合。Mainの448問、Extendedの546問と区別。非専門家約34%はExtendedの約34.1%に対応し、Diamondの22.1%とは別。部分集合の選別による偏りにも注意科学推論の主力指標、2026年の差別化軸
HumanEval164 Pythonコーディングタスク+単体テストコーディングの古典、ほぼ飽和
SWE-benchGitHub実Issueを修正、リポジトリ理解必要実務コーディング評価のデファクト
SWE-bench Verified原SWE-benchから人手で選別した500課題の部分集合。課題の検証・選別は、評価用課題の継続追加や学習データ混入の完全排除を保証するものではない2026年のコーディング主力指標
AIME 2025米国高校数学オリンピック予選問題数学推論の新主力
GSM8K小学算数レベル文章題8,000問飽和、古典的指標
ARC-AGI抽象推論・パターン認識。ARC-AGIの版・分割・推論予算を指定。人間の共通正答率は示さず、対象者・問題集合・測定条件を確認汎用知能の指標、上位モデルでも難度が高い
Humanity's Last Exam各分野の博士レベル最難問2025-2026年の最難ベンチ
MT-BenchGPT-4が採点する対話品質マルチターン80問対話品質の目安
Chatbot Arena(Elo)人間のブラインド対戦で評価総合力の体感指標
JGLUE日本語版GLUE、分類・QA・推論日本語の基礎指標
Japanese MT-Bench日本語対話品質日本語対話の主要指標
FrontierMath研究者レベル数学問題最難数学、モデル能力の限界測定

2026年のスコア例(公開情報)

以下は、公開されたモデルカードや元の集計記載を区別した参考情報です。2026年10月の統一条件による実測ランキングではありません。ベンチの版・分割・推論予算・ツール・評価環境・試行回数・発表日をそろえて比較してください。

  • GPQA Diamond:Googleの2026年2月のカードはGemini 3.1 Pro Thinking(High)94.3%、Opus 4.6 Thinking(Max)91.3%を掲載しています。評価方法ではGeminiは原則pass@1、他社値は原則として各社の自己報告を採用しています。別の公表例として、2026年10月15日確認のQwen3.5-397B-A17Bの公式カードは「GPQA」と表記して88.4を掲載しています。表の名称だけでDiamondと同じ分割・評価条件だとみなさず、比較条件を確認してください。Plusは対応するホスト版で、評価対象名も区別します。ここではGPT-5.3 CodexのGPQA Diamondスコアは示しません。BenchLM等の集計記載をそのまま同条件の順位にしないでください。
  • ARC-AGI:ARC Prizeの2024年12月20日のo3評価は、ARC-AGI-1のSemi-Private/Public評価と低/高計算設定を分けています。このo3はpreviewで、2025年4月の一般公開版とは異なると同資料に明記されています。ARC-AGI-2等の別の版や、現在の製品の同一性能と混同しません
  • SWE-bench Verified:Googleの2026年2月の比較表はOpus 4.6 Thinking(Max)80.8%を掲載しています。ただしモデルとエージェントの評価環境・推論予算・試行条件を確認し、異なる設定の集計を固定の首位や自社業務の成功率とみなしません

スコアは随時更新されるため、必ず各社公式と公開Leaderboard(Vellum LLM Leaderboard/LLM-Stats/BenchLM.ai等)で最新値を確認してください。

業務シーン別の読み方

業務重視すべきベンチ無視してよいベンチ
チャットボット・対話UXChatbot Arena Elo / MT-Bench / Japanese MT-BenchMMLU / HumanEval
コーディングエージェントSWE-bench Verified > HumanEvalGSM8K / MMLU
データ分析・推論GPQA Diamond / AIME 2025 / ARC-AGIHumanEval / Chatbot Arena
日本語RAG・QAJGLUE / Japanese MT-Bench + 自データ評価MMLU単体
数学・研究AIME 2025 / FrontierMath / Humanity's Last ExamGSM8K
企業文書処理Japanese MT-Bench + 自データLLM-as-a-JudgeHumanEval

ベンチマーク選定の鉄則は「自分の業務と相関する指標だけを見る」ことです。HumanEvalが高くても対話UXでの使い勝手は保証されません。

ベンチマークの3つの罠

罠1: データ汚染(Benchmark Contamination)

ベンチマークの問題や解答が学習に含まれると、未知の課題への実力とスコアがずれることがあります。SWE-bench Verifiedは人手で選別した500課題の部分集合であり、継続的な新規課題の追加とは別の設計です。SWE-bench-Liveは月次の課題更新を掲げています。問題の取得時期・評価セットの版・学習期間・公開状況を確認し、どちらの名称も混入リスクがゼロになる保証としません。

罠2: 飽和(Saturation)

共通のMMLUスコア帯は示さず、対象モデル・時点・問題集合・測定設定をそろえて読みます。高得点だけでモデル間の差がすべてノイズだと断定しないでください。MMLU-Proの原研究は、問題の難化・選択肢拡張とプロンプト変動への頑健性を検討しています。同条件の再測定・試行回数・不確実性、対象業務との関係を確認し、他の難しい指標と自社データ評価を併用します。新しいベンチが常に未飽和である保証もしません。

罠3: 英語偏重

MMLU/HumanEval/GPQA等は全て英語ベンチです。これらで高スコアでも、日本語での実運用性能は保証されません。日本語RAG・日本語QAを扱う場合はJGLUE/Japanese MT-Bench + 自データ評価を必ず併用します(Reranker・Embeddingも日本語特化で選ぶ必要あり)。

主要Leaderboardサイト比較

サイト特徴
Chatbot Arena (LMSYS)人間ブラインド対戦Elo、体感指標のデファクト
Vellum LLM Leaderboard複数ベンチを統合、定期更新
LLM-Stats / BenchLM.ai185モデル×126ベンチの統合比較
Open LLM Leaderboard (HF)OSSモデル中心の評価
Artificial Analysisコスト・レイテンシ・精度の3軸比較
llm.extractum.ioモデル仕様とベンチを横断検索

自社評価とベンチマークの関係

重要な実務原則は「公開ベンチマークは初期スクリーニング、最終判断は自データ評価」です。GPQA Diamondで上位だからといって自社業務で上位とは限りません。公開ベンチマークは候補絞り込みに使い、上位3〜5モデルに対して自社のGolden Set(50〜500問)で評価するのが鉄則です(LLM評価指標)。

renueの視点|ベンチマークに騙されない6原則

複数のAIエージェントを自社運用する中で整理した、公開ベンチマークとの付き合い方を6点にまとめます。

(1) 飽和指標(MMLU/HumanEval/GSM8K)で選定しない:これらは差別化能力を失っています。代わりにMMLU-Pro/SWE-bench Verified/GPQA Diamond/AIME 2025を見ます。

(2) 業務相関指標だけを見る:コーディングならSWE-bench、対話ならChatbot Arena、数学ならAIME、科学推論ならGPQA Diamond。業務と無関係の指標で選定すると期待外れが起きます。

(3) 日本語業務は必ず日本語ベンチ+自データ:JGLUE/Japanese MT-Bench + 50〜200問の自社Golden Setで確認。英語ベンチ単体は危険です。

(4) データ汚染の疑いがある古いベンチは割り引く:HumanEval/MMLUは学習データ混入の疑いが指摘されています。SWE-bench VerifiedやFrontierMath等の新規ベンチを重視します。

(5) コスト・レイテンシと一緒に見る:精度だけでなくArtificial Analysis等でコスト/レイテンシも確認し、「精度の割に安いモデル」を探します(FinOps for AI)。

(6) 最終判断は必ず自社PoC:公開ベンチで上位3モデルに絞り、自社のGolden SetでLLM-as-a-Judge評価。この2段階で精度・コスト・レイテンシの最適解を決めます(AI RFPの評価プロセスと統合)。

よくある失敗パターン

  • MMLUだけで選定:飽和指標を主な判断材料にする
  • 英語ベンチ高=日本語高と誤解:日本語運用で痛い目に遭う
  • ベンダー資料の数字を鵜呑み:自社データで検証せずに決定
  • コスト・レイテンシを見ない:精度特化でも運用で破綻
  • 公開Leaderboardの更新漏れ:古い情報で選定
  • ベンチとユースケースのミスマッチ:コーディングしないのにSWE-benchで選ぶ等

よくある質問(FAQ)

Q1. MMLUは本当にもう見るべきでないですか?

初期スクリーニングに使えます。高得点で差を識別しにくくなる場合はありますが、全モデル・全業務で差別化に使えないと一律にはいえません。同じ問題集合・測定設定で比較し、試行の変動と不確実性を確認します。MMLU-ProやGPQA Diamond等との併用、最終的な自社業務データでの評価が必要です。

Q2. 日本語特化のベンチマークは何を見るべきですか?

JGLUE(基礎)+Japanese MT-Bench(対話)が標準です。ただし自社業務データでの検証が最重要です。

Q3. 推論モデル(o3/Claude Extended Thinking)はどのベンチで測りますか?

GPQA Diamond / AIME 2025 / ARC-AGI(版・分割を指定)/ Humanity's Last Exam 等で推論能力を比較します。推論予算・ツールの利用・評価設定によって結果が変わります(推論モデル)。

Q4. Chatbot Arena Eloは信頼できますか?

人間ブラインド対戦の体感指標としては最も信頼できる部類ですが、特定業務の能力を表すわけではありません。総合力の目安として使います。

Q5. renueはベンチマーク解析と選定を支援していますか?

はい。複数AIエージェント自社運用経験から、業務に応じたベンチマーク選定・自社評価セット設計・PoC評価まで一貫して支援しています。

関連記事

LLMベンチマーク解析・モデル選定のご相談はrenueへ

renueは複数のAIエージェント事業を自社運用するAIエージェント開発企業として、業務に応じたベンチマーク選定・自社評価セット設計・PoC実力評価までワンストップで支援しています。公開ベンチに振り回されない実務的なモデル選定でお困りの方はお気軽にご相談ください。

AIエージェント導入の事例を見る

本記事の参考情報

あわせて読みたい

AI活用のご相談はrenueへ

renueは自社開発のAIツールを自社運用するAIコンサルティングファームです。

→ 詳細を見る

SHARE

FAQ

よくある質問

初期スクリーニングに使えます。高得点で差を識別しにくくなる場合はありますが、全モデル・全業務で差別化に使えないと一律にはいえません。同じ問題集合・測定設定で比較し、試行の変動と不確実性を確認します。MMLU-ProやGPQA Diamond等との併用、最終的な自社業務データでの評価が必要です。

JGLUE(基礎)+ Japanese MT-Bench(対話)が標準です。ただし自社業務データでの検証が最重要です。汎用ベンチマークの数値だけで判断せず、自社のドキュメントや業務シナリオでのテストを併用することが、実用判断の前提となります。

GPQA Diamond / AIME 2025 / ARC-AGI(版・分割を指定)/ Humanity's Last Exam 等で比較します。問題集合の版、推論予算・時間・費用、ツールやエージェントの利用、試行回数を確認し、異なる測定条件のスコアを直接同一視しません。最終的には対象業務の評価と組み合わせます。

人間ブラインド対戦の体感指標としては最も信頼できる部類ですが、特定業務の能力を表すわけではありません。総合力の目安として使い、業務特化の評価セットと組み合わせるのが、実用性判断には欠かせません。

はい。複数AIエージェント自社運用経験から、業務に応じたベンチマーク選定・自社評価セット設計・PoC評価まで一貫して支援しています。汎用評価と独自評価を組み合わせた継続的な品質管理プロセスの設計までサポート可能です。

renueについて

renueは、AIで業務を実装する会社です

AIコンサルティングから図面AI・広告運用エージェント・コールセンターAIまで、実際に動いているサービスをご覧いただけます。renueが何をしている会社か、まずはサービス一覧からご確認ください。

AI導入・DXの悩みをプロに相談してみませんか?

AIやDXに関する悩みがありましたら、お気軽にrenueの無料相談をご利用ください。renueのAI支援実績、コンサルティングの方針や進め方をご紹介します。

無料資料をダウンロード