평가 방법

5개 독립 리더보드를 하나로 종합하는 산출 방식 설명.

Podium 점수 공식

Podium Score = 0.35·Arena + 0.30·Benchmarks + 0.20·Intelligence + 0.15·LLM Stats

  • Arena (35%) — 인간 선호도 일대일 대결의 Elo 레이팅(Arena.ai, 722개 모델, 신뢰 구간 가중 투표).
  • Benchmarks (30%) — 해당 모델에 대해 추적하는 모든 정규화 벤치마크 결과의 평균(총 25개 벤치마크).
  • Intelligence Index (20%) — Artificial Analysis의 복합 인텔리전스 지수.
  • LLM Stats (15%) — llm-stats.com이 발표하는 복합 점수.

한 소스에 모델의 값이 없으면 그 가중치는 나머지 소스에 비례 배분됩니다 — 즉, 한 리더보드에 없다는 이유만으로 불이익을 받지 않습니다.

정규화

각 신호는 추적 중인 전체 767개 모델에서 0–100으로 min-max 정규화되므로, 80점은 항상 "관측된 최저와 최고 모델 사이의 80% 지점"을 의미합니다. 백분율 기반 벤치마크는 그대로 사용하고, Elo·지수·가격은 관측 범위에 대해 정규화합니다.

카테고리 점수

종합 순위 외에 17개의 카테고리 리더보드를 유지하며, 각각 해당 작업에 가장 관련성 높은 벤치마크로 구성됩니다:

  • Coding — SWE-Bench Verified, SWE-Bench Pro, LiveCodeBench, SciCode, Terminal-Bench, HumanEval.
  • Math — AIME 2025, FrontierMath, MATH.
  • Reasoning — GPQA Diamond, HLE, ARC-AGI-2.
  • Agentic — OSWorld, Toolathlon, MCP Atlas, τ²-Bench Retail, Apex Agents.
  • Knowledge — SimpleQA, MMLU-Pro, MMMLU.
  • Multimodal — MMMU, MMMU-Pro, CharXiv-R, ScreenSpot-Pro.
  • Coding Agents — SWE-Bench Verified, SWE-Bench Pro, Terminal-Bench Hard, τ²-Bench Retail.
  • Scientific Reasoning — GPQA Diamond, Humanity’s Last Exam, SciCode.
  • Multilingual — Multilingual MMLU.
  • Writing — IFBench, Arena Elo.
  • Chat & Assistants — Arena Elo, IFBench.
  • Research — Humanity’s Last Exam, GPQA Diamond, MMLU-Pro.
  • Tool Calling — Toolathlon, MCP Atlas, τ²-Bench Retail.
  • Long Context — MRCR v2, Context window.
  • Speed — Output tokens/s.
  • Value — Blended price /1M, Cost per task.
  • Open Weights — Podium Score.

데이터 소스

모든 데이터는 5개의 공개 리더보드에서 집계합니다:

업데이트 주기

모든 소스를 매주 재동기화하며, 주요 모델 출시 시 즉시 업데이트 주기를 시작합니다. 마지막 전체 갱신: 2026-10-26.

한계

완벽한 벤치마크는 없으며 아레나 선호도가 작업 적합성과 같지는 않습니다. 구체적인 사용 사례 판단에는 카테고리별 리더보드와 비교 도구를 사용하세요. 프리뷰 모델은 표시되며 투표와 결과가 늘면서 변동될 수 있습니다.

0 / 4
지금 비교 →