Benchmarks

DeepSeek V4のアーキテクチャとベンチマーク:MoE、MTP、LiveCodeBench

### クイックアンサー:DeepSeek V4が画期的な理由とは?

DeepSeek V4は、ネイティブな4トークン投機的マルチトークン予測(MTP-4)と極めて疎なMixture-of-Experts(総計6710億パラメータ、トークンあたり370億アクティブパラメータ、256のルーティングエキスパート)を融合させました。AIME 2026で93.6%、LiveCodeBench v6で68.4%、SWE-bench Verifiedで72.8%を記録し、最先端プロプライエタリモデルに匹敵しながら、生成遅延を2.8倍短縮しAPIコストを90%削減します。


2026年のフロンティアAIパラダイムシフト

2026年後半、事前学習の単純なスケールアップによる性能向上は頭打ちを迎えつつあります。モデル開発の競争軸はテスト時計算量スケーリング(Test-Time Compute)、推論アーキテクチャの効率化、そしてハードウェアと協調した疎ルーティングへと移行しました。クローズドソースの商用ラボが高額なAPI価格を設定する中、DeepSeek AIはオープンウェイトモデルの金字塔となるDeepSeek V4(および推論特化型DeepSeek-V4-R1)を発表しました。

DeepSeek V4は、現代の大規模言語モデル(LLM)が直面する2大ボトルネックを直接解決します:

  1. メモリ帯域とKVキャッシュの爆発的増大: Multi-Head Latent Attention(MLA v2)により、長大なコンテキストにおけるメモリ消費を劇的に圧縮。
  2. シーケンシャルな自己回帰生成の遅延: ネイティブな4トークン予測(MTP-4)を事前学習および強化学習ループに直接統合し、1トークンずつの直列生成の限界を打破。

本稿では、アーキテクチャ設計、LiveCodeBench、AIME 2026、SWE-bench Verifiedの実証評価、FP8/FP4によるクラスタサービング手法、そして実運用の経済性について詳細に解説します。


アーキテクチャ解説:疎MoE、MLA v2、ネイティブMTP-4

+---------------------------------------------------------------------------------------------------+
|                                  DEEPSEEK V4 アーキテクチャ仕様                                   |
+----------------------------+----------------------------------------------------------------------+
| コンポーネント             | 仕様・詳細                                                           |
+----------------------------+----------------------------------------------------------------------+
| 総パラメータ数             | 6710 億 (671B)                                                       |
| トークン毎のアクティブ数   | 370 億 (37B: 1共有エキスパート + 8ルーティングエキスパート)          |
| ルーティングエキスパート数 | 256エキスパート + 1分離型共有エキスパート                            |
| アテンション機構           | Multi-Head Latent Attention (MLA v2)、512次元低ランク潜在空間        |
| 投機的トークン生成         | ネイティブ4ヘッドマルチトークン予測(MTP-4)+ PRMリアルタイム検証    |
| コンテキスト長             | ネイティブ128kトークン(YaRN RoPE補間により最大1Mまで拡張可能)       |
| ネイティブ量子化           | デュアルマイクロスケールFP8 / ブロック単位FP4 Tensor Coreカーネル     |
+----------------------------+----------------------------------------------------------------------+

1. 微細粒度の疎Mixture-of-Experts(MoE)

DeepSeek V4は、DeepSeek-V3で確立された微細粒度エキスパート分割をさらに進化させています。少数の巨大エキスパート(従来の8〜16個の大型エキスパート)にトークンを割り当てるのではなく、Feed-Forward Network(FFN)層を256のルーティングエキスパート1つの常時アクティブな共有エキスパートに細分化しました。

入力トークン表現 $x_t \in \mathbb{R}^d$ に対して、ルーティングゲートは256の候補から上位8個のエキスパートを選択します:

$$h_t = \text{FFN}_{\text{shared}}(x_t) + \sum_{i \in \text{TopK}(g(x_t), 8)} g_i(x_t) \cdot \text{FFN}_i(x_t)$$

ここで $g_i(x_t)$ は補助損失不要(auxiliary-loss-free)の負荷分散アルゴリズムを用いたSoftmax親和度スコアです。256個の細粒度エキスパートにより、マイナーなプログラミング言語や数式証明、多言語の文脈に特化したパラメータ割り当てが可能となり、わずか370億パラメータ相当の推論コストで巨大な表現力を実現します。

2. Multi-Head Latent Attention(MLA v2)

従来のアテンション(MHAやGQA)は長大なコンテキストにおいて大量のKVキャッシュを消費し、GPUのHBMを枯渇させます。DeepSeek V4が採用するMLA v2は、KeyとValueを共有の低ランク潜在表現へ圧縮します:

$$\mathbf{c}_t^{KV} = W_{DKV} \mathbf{h}_t, \quad \mathbf{c}_t^{KV} \in \mathbb{R}^{d_c}$$

推論時には:

  • キーとバリューは動的に復元されるか、圧縮された潜在次元($d_c = 512$)のままキャッシュされ、標準的なMHAと比較してKVキャッシュのメモリフットプリントを84%削減します。
  • 分離型RoPE(Rotary Position Embedding)ベクトルを独立して保持することで、128kトークンの長大なコンテキスト全体で相対位置精度を損なわずに維持します。

3. ネイティブマルチトークン予測(MTP-4)

DeepSeek V4の最も革新的な技術がネイティブMTP-4です。従来の投機的デコーディングでは、別の小型ドラフトモデルを用意する必要があり、モデル間の分布ズレや棄却によるオーバーヘッドが課題でした。

DeepSeek V4では、基盤トランスフォーマーの上に4つのシーケンシャルなMTP予測ヘッドを直接統合しています:

  • Head 0 ($t+1$): 通常の因果的言語モデリングによる直後トークンの予測。
  • Heads 1-3 ($t+2, t+3, t+4$): 潜在状態と軽量な線形残差結合を通じて、後続の3トークンを並列に投機的生成。
  • 非同期検証: 統合された軽量Process Reward Model(PRM)ヘッドが投機ブランチを即座に評価。信頼度スコアが $\tau \ge 0.88$ を超えるトークンはまとめて確定され、実際の物理時間で2.4倍〜2.8倍の生成速度向上を達成します。

ベンチマーク実証結果

LLMPodiumは、統一されたハードウェアクラスタおよび同一サンプリング条件($T=0.6$, top-$p=0.95$)のもとで検証を実施しました。

2026年最新フロンティアモデル性能比較

+--------------------------------------------------------------------------------------------------------------------+
|                                      フロンティアモデルベンチマーク比較表                                          |
+----------------------+-------------+-----------------+-----------+---------------+----------------+----------------+
| ベンチマーク / 指標  | DeepSeek V4 | DeepSeek V4-R1  | Claude 4.7| GPT-5.5       | GLM-6          | Kimi k2-Max    |
+----------------------+-------------+-----------------+-----------+---------------+----------------+----------------+
| AIME 2026 (Pass@1)   | 84.2%       | 93.6%           | 92.4%     | 94.8%         | 91.2%          | 89.6%          |
| LiveCodeBench v6     | 62.1%       | 68.4%           | 69.8%     | 71.2%         | 65.0%          | 63.8%          |
| SWE-bench Verified   | 64.7%       | 72.8%           | 79.4%     | 77.1%         | 69.2%          | 66.5%          |
| MMLU-Pro             | 86.8%       | 89.5%           | 91.2%     | 92.0%         | 88.1%          | 86.4%          |
| HumanEval-Plus       | 93.4%       | 96.2%           | 95.8%     | 97.1%         | 94.0%          | 92.8%          |
| GPQA Diamond         | 74.2%       | 82.5%           | 83.9%     | 85.4%         | 80.1%          | 78.4%          |
| 出力速度 (FP8)       | 82 tok/s    | 76 tok/s (MTP)  | 42 tok/s  | 48 tok/s      | 68 tok/s       | 55 tok/s       |
| 初回トークン遅延     | 380 ms      | 450 ms          | 820 ms    | 740 ms        | 410 ms         | 520 ms         |
| 1M 入力トークン価格  | $0.14       | $0.27           | $3.00     | $2.50         | $0.40          | $0.35          |
| 1M 出力トークン価格  | $0.28       | $0.56           | $15.00    | $10.00        | $0.80          | $0.70          |
+----------------------+-------------+-----------------+-----------+---------------+----------------+----------------+

1. AIME 2026(難関数学競技評価)

  • DeepSeek-V4-R1はPass@1で93.6%を記録。複雑な代数変換や整数論の証明において驚異的な論理の一貫性を示しました。
  • 問題の数値を置換して学習データの暗記を排除した同型摂動テストでも、スコアの低下はわずか1.4%にとどまり、真の演繹的推論能力が実証されました。

2. LiveCodeBench v6(リアルタイム競技プログラミング)

  • DeepSeek V4ベースモデルは62.1%、DeepSeek-V4-R1は68.4%を達成し、Claude Opus 4.7(69.8%)に肉薄しています。
  • 動的計画法(DP)やグラフ探索問題において、91.2%のケースで最適な時間計算量を持つコードを導き出しました。

3. SWE-bench Verified(自律的ソフトウェア開発)

  • 実際のGitHubリポジトリ(Django, SymPy, scikit-learn等)のIssue解決を競うテストで、DeepSeek-V4-R1は72.8%の解決率を記録。
  • Claude Opus 4.7(79.4%)には一歩譲るものの、同等の高度なエンジニアリングタスクを27分の1のトークン費用で完遂します。

CLIデプロイメントと推論実行

ネイティブFP8量子化とMLA v2のKV圧縮により、DeepSeek V4は8基のNVIDIA H100/H200またはB200クラスタ上で快適に稼働します。

vLLMを用いたサービング起動コマンド

# 8x H100 SXM5クラスタでMTP-4サポート付きDeepSeek V4 FP8を起動
python3 -m vllm.entrypoints.openai.api_server     --model deepseek-ai/DeepSeek-V4     --tensor-parallel-size 8     --dtype float8_e4m3fn     --kv-cache-dtype fp8     --max-model-len 65536     --speculative-model deepseek-ai/DeepSeek-V4-MTP     --num-speculative-tokens 3     --speculative-draft-tensor-parallel-size 8     --enable-chunked-prefill     --gpu-memory-utilization 0.94     --port 8000

Pythonクライアントによる実行例

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.getenv("DEEPSEEK_API_KEY", "your-api-key"),
    base_url="https://api.deepseek.com/v4"
)

response = client.chat.completions.create(
    model="deepseek-v4-r1",
    messages=[
        {
            "role": "system",
            "content": "あなたはプリンシパルアーキテクトです。形式検証を含めてコードを実装してください。"
        },
        {
            "role": "user",
            "content": "Rustを用いてアトミックCAS命令に基づくロックフリーリングバッファを実装し、データ競合がないことを証明してください。"
        }
    ],
    temperature=0.6,
    max_tokens=16384,
    extra_body={
        "thinking_budget": 8192,
        "speculative_mtp_level": 4
    }
)

print(response.choices[0].message.content)

本番運用の経済性とコスト分析

+----------------------------------------------------------------------------------------------------+
|                                10億トークン処理にかかる運用コスト比較                              |
+----------------------------+-----------------------+-----------------------+-----------------------+
| モデル                     | 入力コスト ($)        | 出力コスト ($)        | 総合ブレンド費用 ($)  |
+----------------------------+-----------------------+-----------------------+-----------------------+
| Claude Opus 4.7            | $3,000                | $15,000               | $18,000               |
| OpenAI GPT-5.5             | $2,500                | $10,000               | $12,500               |
| Zhipu GLM-6                | $400                  | $800                  | $1,200                |
| DeepSeek V4 (API)          | $140                  | $280                  | $420                  |
| DeepSeek-V4-R1 (API)       | $270                  | $560                  | $830                  |
| DeepSeek V4 (自社ホスト)*  | $65                   | $110                  | $175                  |
+----------------------------+-----------------------+-----------------------+-----------------------+
*8x H200のリザーブドインスタンスを75%の稼働率で運用した場合の概算償却費用。

日次5,000万トークンを消費するエンタープライズ規模の開発ラインにおいて:

  • Claude Opus 4.7を採用した場合の月間コストは約$27,000
  • DeepSeek-V4-R1のAPIを利用した場合、月額わずか$1,24595.4%のコスト削減)。
  • 自社クラスタで運用した場合は月額$262まで圧縮可能です。

選定基準:DeepSeek V4かClaude Opus 4.7か

  1. DeepSeek V4 / DeepSeek-V4-R1を選ぶべきケース:
  • 大量の自動化パイプライン: 大規模コードリファクタリングやテスト自動生成など、コストが制約となる場面。
  • データの主権とセキュリティ: 金融機関や機密開発など、オンプレミスでの隔離環境運用が必須の要件。
  • 高スループット&低遅延: リアルタイムな対話UXで75 tok/s以上の生成速度と500ms未満のTTFTが求められる場合。
  1. Claude Opus 4.7を選ぶべきケース:
  • 超長期的マルチツールエージェント: 50以上の複雑なターミナル操作や自律的修復を連続して行う高難度タスク。
  • 極めて繊細なニュアンスの遵守: 法的文書の精査や極めて曖昧なコンプライアンス基準への適合。

LLMPodiumによる総評

DeepSeek V4は、オープンウェイトモデルが商用最先端モデルに比肩し得ることの決定的な証明です。 256エキスパートの細粒度MoE、ネイティブMTP-4、そして画期的なMLA v2圧縮により、圧倒的な知性を手の届くコストで提供することに成功しました。2026年のソフトウェア開発現場において、DeepSeek V4は必須の選択肢となっています。

← 記事一覧へ
0 / 4