评分方法论

揭秘Podium Score如何将5个独立榜单归一化合成为统一指标。

Podium 得分公式

Podium Score = 0.35·Arena + 0.30·Benchmarks + 0.20·Intelligence + 0.15·LLM Stats

• Arena (35%) — 来自人类偏好对决的 Elo 评分（Arena.ai，722 个模型，按置信区间加权投票）。
• Benchmarks (30%) — 我们跟踪的该模型所有标准化基准结果的平均值（共 25 个基准）。
• Intelligence Index (20%) — Artificial Analysis 的综合智能指数。
• LLM Stats (15%) — llm-stats.com 发布的综合得分。

当某个来源没有某模型的数值时，其权重会按比例重新分配给其余来源 — 因此模型不会只因缺席某个榜单而被扣分。

标准化

每个信号都在全部 767 个跟踪模型中做 0–100 的 min-max 标准化，因此 80 分始终意味着"位于观测到最差与最好模型之间 80% 的位置"。百分比类基准直接使用原值；Elo、指数和价格按其观测区间标准化。

类别得分

除总榜外，我们还维护 17 个类别榜单，每个榜单都由与该任务最相关的基准构成：

• Coding — SWE-Bench Verified, SWE-Bench Pro, LiveCodeBench, SciCode, Terminal-Bench, HumanEval.
• Math — AIME 2025, FrontierMath, MATH.
• Reasoning — GPQA Diamond, HLE, ARC-AGI-2.
• Agentic — OSWorld, Toolathlon, MCP Atlas, τ²-Bench Retail, Apex Agents.
• Knowledge — SimpleQA, MMLU-Pro, MMMLU.
• Multimodal — MMMU, MMMU-Pro, CharXiv-R, ScreenSpot-Pro.
• Coding Agents — SWE-Bench Verified, SWE-Bench Pro, Terminal-Bench Hard, τ²-Bench Retail.
• Scientific Reasoning — GPQA Diamond, Humanity’s Last Exam, SciCode.
• Multilingual — Multilingual MMLU.
• Writing — IFBench, Arena Elo.
• Chat & Assistants — Arena Elo, IFBench.
• Research — Humanity’s Last Exam, GPQA Diamond, MMLU-Pro.
• Tool Calling — Toolathlon, MCP Atlas, τ²-Bench Retail.
• Long Context — MRCR v2, Context window.
• Speed — Output tokens/s.
• Value — Blended price /1M, Cost per task.
• Open Weights — Podium Score.

数据来源

所有数据聚合自五个公开榜单：

• Arena.ai — last synced 2026-08-04.
• Artificial Analysis — last synced 2026-08-03.
• LLM Stats — last synced 2026-08-02.
• Vellum Leaderboard — last synced 2026-07-24.
• LLMBase — last synced 2026-08-04.
• Convly AI Models Database — 开放权重模型的 VRAM 与最低 GPU 要求（本地推理），依据 CC BY 4.0 许可使用。

更新频率

我们每周重新同步所有来源；重大模型发布会立即触发更新周期。上次完整刷新：2026-10-26。

局限性

没有基准是完美的，竞技场偏好也不等同于任务适配度。针对具体场景的决策请使用分类榜单和对比工具。预览版模型已标注，并可能随更多投票和结果而变化。