評価方法について

5つの独立したリーダーボードを統合したPodium Scoreの仕組み。

Podium スコアの計算式

Podium Score = 0.35·Arena + 0.30·Benchmarks + 0.20·Intelligence + 0.15·LLM Stats

  • Arena (35%) — 人間の好みによる一騎打ちバトルからの Elo レーティング（Arena.ai、722 モデル、信頼区間付き投票加重）。
  • Benchmarks (30%) — モデルについて追跡しているすべての正規化ベンチマーク結果の平均（合計 25 ベンチマーク）。
  • Intelligence Index (20%) — Artificial Analysis の複合インテリジェンス指数。
  • LLM Stats (15%) — llm-stats.com が公開する複合スコア。

あるソースにモデルの値がない場合、そのウェイトは残りのソースに比例配分されます — つまり、あるリーダーボードに掲載されていないだけでペナルティを受けることはありません。

正規化

各シグナルは追跡中の全 767 モデル間で 0–100 に min-max 正規化されるため、80 というスコアは常に「観測された最低と最高のモデルの間の 80% の位置」を意味します。パーセントベースのベンチマークはそのまま使用し、Elo・指数・価格は観測範囲に対して正規化します。

カテゴリスコア

総合ランキングに加えて 17 個のカテゴリ別リーダーボードを維持しており、それぞれタスクに最も関連するベンチマークから構成されています：

  • Coding — SWE-Bench Verified, SWE-Bench Pro, LiveCodeBench, SciCode, Terminal-Bench, HumanEval.
  • Math — AIME 2025, FrontierMath, MATH.
  • Reasoning — GPQA Diamond, HLE, ARC-AGI-2.
  • Agentic — OSWorld, Toolathlon, MCP Atlas, τ²-Bench Retail, Apex Agents.
  • Knowledge — SimpleQA, MMLU-Pro, MMMLU.
  • Multimodal — MMMU, MMMU-Pro, CharXiv-R, ScreenSpot-Pro.
  • Coding Agents — SWE-Bench Verified, SWE-Bench Pro, Terminal-Bench Hard, τ²-Bench Retail.
  • Scientific Reasoning — GPQA Diamond, Humanity’s Last Exam, SciCode.
  • Multilingual — Multilingual MMLU.
  • Writing — IFBench, Arena Elo.
  • Chat & Assistants — Arena Elo, IFBench.
  • Research — Humanity’s Last Exam, GPQA Diamond, MMLU-Pro.
  • Tool Calling — Toolathlon, MCP Atlas, τ²-Bench Retail.
  • Long Context — MRCR v2, Context window.
  • Speed — Output tokens/s.
  • Value — Blended price /1M, Cost per task.
  • Open Weights — Podium Score.

データソース

すべてのデータは 5 つの公開リーダーボードから集約しています：

更新頻度

すべてのソースを毎週再同期し、主要モデルのリリース時には即時更新を行います。最終完全更新：2026-10-26。

限界

完璧なベンチマークは存在せず、アリーナでの好みはタスクへの適性と同義ではありません。特定の用途の判断にはカテゴリ別リーダーボードと比較ツールをご利用ください。プレビューモデルにはフラグが付き、投票や結果の増加に伴い変動する場合があります。

0 / 4
比較する →