Benchmarks

NVIDIA Nemotron 3 Superベンチマーク:アーキテクチャ、NVFP4、デプロイ検証

### クイックアンサー:NVIDIA Nemotron 3 Superがオープンソースのブレイクスルーと呼ばれる理由とは?

NVIDIA Nemotron 3 Superは、総パラメータ数120B(1200億)、アクティブパラメータ数12B(120億)のハイブリッドMamba-Transformer MoEアーキテクチャを統合した、オープンソースAIの歴史的ブレイクスルーです。ネイティブなNVFP4事前学習、潜在MoE(Latent MoE)ルーティング、100万トークンのコンテキストウィンドウ全体でのマルチトークン予測(Multi-Token Prediction)を活用することで、Nemotron 3 Superは推論スループットを5倍に向上させ、エージェント評価ベンチマーク「PinchBench」で85.6%のスコアを達成しています。


1. はじめに:エージェントの最前線と「思考コスト(Thinking Tax)」

2026年後半、企業のAIアーキテクチャは従来の対話型チャットボットから自律型マルチエージェントシステムへと決定的な転換を遂げました。自律型ソフトウェアエンジニア、サイバー脅威トリアージパイプライン、多段階リサーチスウォーム(探索群)は、単発のテキスト生成を行うだけでなく、ループ型の決定木を実行し、大規模なコードベースを精査し、シェル環境を呼び出し、膨大なツールの実行結果をパースします。

しかし、本番環境における標準的なデプロイメントは、複合的に作用する2つのボトルネックに直面しています:

  1. コンテキストの爆発(Context Explosion):マルチエージェントのループ処理は、標準的なチャットインターフェースと比較して最大15倍ものトークンを生成します。会話履歴、Bashの実行ログ、シリアライズされたJSON形式のツール呼び出しを継続的に再取り込みし続けるためです。数時間に及ぶタスクでは、KVキャッシュメモリの2次関数的な増大(Quadratic growth)がGPUスループットを著しく低下させ、深刻なゴールドリフト(目的の逸脱)を引き起こします。
  2. 「思考コスト(Thinking Tax)」:中間の推論サブタスク、ツールの実行、妥当性検証のチェックを行うたびに、巨大で高密度なフロンティア推論モデルをデプロイすることは、持続不可能なコストとレイテンシのペナルティを課すことになります。

この思考コストを解消するため、NVIDIAはNVIDIA Nemotron 3 Super(正式名称:Nemotron-3-Super-120B-A12B)をリリースしました。最高峰のオープンソースAIのマイルストーンとなるNemotron 3 Superは、状態空間モデル(SSM)と高密度アテンション(Dense Attention)を革新的なハイブリッドMixture-of-Experts(MoE)トポロジーとして統合しています。総パラメータ数1200億(120B)、トークンあたりのアクティブパラメータ数わずか120億(12B)という構成により、同等のDense(密結合型)アーキテクチャと比較して推論レイテンシと計算オーバーヘッドを5分の1に抑えつつ、フロンティアレベルの推論能力を実現しています。


2. アーキテクチャの詳細解説:ハイブリッドMamba-TransformerとLatent MoE

nvidia nemotron 3 superの核心的な差別化要因は、標準的ではない異種混合(ヘテロジニアス)なレイヤー配置にあります。均一なTransformerの自己アテンション(self-attention)ブロックを単純に積み重ねるのではなく、Nemotron 3 Superは3つの異なるレイヤープリミティブを反復的な計算グループへとインターリーブ(交互配置)しています。

+----------------------------------------------------------------------------------------------------+
|                         NVIDIA NEMOTRON 3 SUPER (120B-A12B) TOPOLOGY                               |
+--------------------------------+-------------------------------------------------------------------+
| Architectural Metric           | Specification Details                                             |
+--------------------------------+-------------------------------------------------------------------+
| Total Parameters               | 120 Billion Parameters                                            |
| Active Parameters per Token    | 12 Billion Parameters (10:1 Sparsity Ratio)                       |
| Layer Arrangement              | Repeating 6-Layer Macro-Blocks: Mamba-2 -> Latent MoE ->          |
|                                | Mamba-2 -> Transformer Attention -> Mamba-2 -> Latent MoE         |
| State Space Engine             | Mamba-2 (Bidirectional State Space Duality / SSD Formulation)     |
| Attention Mechanism            | Multi-Head / Grouped-Query Attention (interleaved every 4th layer)|
| Mixture-of-Experts Subsystem   | Latent MoE with Low-Rank Compressed Token Routing                 |
| Speculative Generation         | Native Multi-Token Prediction (MTP) with Shared Prediction Heads  |
| Native Context Window          | 1,000,000 Tokens (1M Native Sequence Length)                      |
| Pre-Training Precision         | Native Blackwell NVFP4 (NVIDIA 4-bit Floating Point)              |
| Training Data Scale            | 25 Trillion Total Seen Tokens (10T Unique Curated Baseline)       |
+--------------------------------+-------------------------------------------------------------------+

反復する6レイヤーのハイブリッドマクロブロック

Nemotron 3 Superは、そのバックボーンを反復する6レイヤーシーケンスからなる5つのマクロステージに編成しています。マクロブロックごとの厳密なレイヤー実行シーケンスは次のとおりです。 $$\text{Mamba-2} \longrightarrow \text{Latent MoE} \longrightarrow \text{Mamba-2} \longrightarrow \text{Attention} \longrightarrow \text{Mamba-2} \longrightarrow \text{Latent MoE}$$

Input Token Stream
        │
        ▼
┌──────────────────┐
│  Mamba-2 Layer   │ ──► Linear-time sequence scanning; O(1) state per step
└─────────┬────────┘
        ▼
┌──────────────────┐
│  Latent MoE FFN  │ ──► Low-rank latent projection; routes to 4x specialized experts
└─────────┬────────┘
        ▼
┌──────────────────┐
│  Mamba-2 Layer   │ ──► Intermediate state update without KV cache expansion
└─────────┬────────┘
        ▼
┌──────────────────┐
│ Attention Layer  │ ──► Exact associative recall & needle-in-haystack key matching
└─────────┬────────┘
        ▼
┌──────────────────┐
│  Mamba-2 Layer   │ ──► Fast recursive state-space propagation
└─────────┬────────┘
        ▼
┌──────────────────┐
│  Latent MoE FFN  │ ──► Second MoE routing pass in compressed latent dimension
└─────────┬────────┘
        ▼
   Next Macro-Block / Output Head
  1. Mamba-2レイヤー(State Space Duality): 状態空間モデル(SSM)は、シーケンス長に対して線形計算量 $\mathcal{O}(L)$ および一定のメモリオーバーヘッド $\mathcal{O}(1)$ でトークンシーケンスを走査します。トークン遷移の60%以上をMamba-2経由で処理することにより、Nemotron 3 Superは長期のロールアウト中もごくわずかなメモリフットプリントを維持します。
  2. インターリーブされたAttentionレイヤー: 純粋なSSMは高い言語流暢性を達成する一方で、厳密な連想想起(例:700,000トークンのコンテキスト全体から単一のUUIDや変数の初期化箇所を特定するなど)において性能低下が見られます。要所となる深さに標準的なTransformerのアテンションレイヤーを交互に配置することで、1Mコンテキストウィンドウ全体にわたる完璧な検索を保証します。
  3. Latent MoE(圧縮低ランクルーティング): 標準的なMoEアーキテクチャでは、完全な隠れ層次元ベクトル($d_{model}$)をルーティングゲートおよびフィードフォワードネットワークに射影するため、エキスパート数をスケールさせる際にメモリ帯域幅のボトルネックが発生します。Nemotron 3 Superはトークン表現を圧縮された潜在空間へと射影します。

3. NVFP4量子化とマルチトークン予測(MTP)

ネイティブNVFP4事前学習 vs. 事後量子化(PTQ)

エンタープライズデータセンターにデプロイされる量子化モデルの多くは、収束後にFP16またはBF16の重みをINT4やFP8に圧縮する事後量子化(PTQ)を受けています。事後量子化は、著しい外れ値アクティベーションの劣化を引き起こし、数学的推論において壊滅的なパープレキシティのスパイクを招きます。

Nemotron 3 Superは、ネイティブNVFP4事前学習によってこの劣化を回避しています:

  • 事前学習における浮動小数点積和演算(MAC)テンソル演算の85%以上が、NVIDIA Blackwell Tensorコア上で直接ネイティブNVFP4として実行されました。
  • 重み、アクティベーション、勾配は、最初の勾配ステップからマイクロスケール化された4ビット浮動小数点表現内で動作しました。
  • その結果、モデルの損失ランドスケープは4ビット表現を中心に安定し、全精度BF16精度の99.4%を維持しながら、HBMフットプリントをFP16比で75%、FP8比で50%削減しました。
+----------------------+-------------+---------------+---------------------+--------------------------+
|                          PRECISION FORMAT COMPARISON & HARDWARE EFFICIENCY                          |
+----------------------+-------------+---------------+---------------------+--------------------------+
| Precision Format     | Bits/Weight | Dynamic Range | HBM Footprint (120B)| Inference Speedup (B200) |
+----------------------+-------------+---------------+---------------------+--------------------------+
| FP16 / BF16 Baseline | 16 bits     | High (E8M7)   | ~240 GB             | 1.0x (Baseline)          |
| FP8 (e4m3fn)         | 8 bits      | Medium (E4M3) | ~120 GB             | 2.1x                     |
| Native NVFP4 (E2M1)  | 4 bits      | Microscaled   | ~64 GB              | 4.4x                     |
+----------------------+-------------+---------------+---------------------+--------------------------+

重み共有マルチトークン予測(MTP)

自己回帰推論は従来、単一トークン生成による制約を受けてきました。$N$個のトークンを生成するには、$N$回のシーケンシャルなメモリラウンドトリップが必要となります。

Nemotron 3 Superは、ネイティブマルチトークン予測(MTP)アーキテクチャを統合しています。独立した補助ドラフトモデルに依存するのではなく、Nemotron 3 Superはハイブリッドバックボーンの直上に重み共有型の投機的予測ヘッドを直接組み込んでいます:

  • Primary Head:標準的な因果言語モデリングを通じてトークン$t+1$を予測します。
  • Speculative Heads(Heads 1〜3):トークン$t+2, t+3,$ および $t+4$を並列に同時予測します。
  • 共有表現:投機的ヘッドは基盤となるテンソル重みをプライマリバックボーンと共有するため、パラメータの肥大化を防ぎ、高いドラフト採択率(構造化コード生成において$>82\%$)を確保します。
  • 推論ゲイン:マルチトークン投機的検証により、コード合成やツール呼び出しの実行において、実測値で2.8倍〜3.2倍のウォールクロック時間の高速化を実現します。

4. 合成データアライメント:NeMo GymとトラジェクトリRL

25兆トークンにおよぶオープンソースモデルの事前学習は広範な意味論的知識を確立しますが、未加工の事前学習だけでは信頼性の高い自律エージェントの実行能力は得られません。NVIDIAは、検証可能でインタラクティブな環境を中心とした大規模な事後学習カリキュラムを設計しました:

25 Trillion Pre-Training Tokens (NVFP4)
                  │
                  ▼
40 Million Post-Training Alignment Samples (SFT Corpus)
      │ (7M High-Priority Agentic SFT Samples)
      ▼
NeMo Gym & NeMo RL Framework (Trajectory Reinforcement Learning)
      ├── 21 Distinct Interactive Virtual Environments
      ├── Software Engineering, Shell CLI, SQL, Web Navigation
      └── 1,200,000+ Multi-Step Interactive Environment Rollouts
                  │
                  ▼
NVIDIA Nemotron 3 Super (Production Checkpoint)
  1. 教師あり微調整(SFT):厳選された700万件の指示サンプル(4,000万サンプルのマスターコーパスから選定)を用いて、構造化JSONツールフォーマット、マルチターン対話の状態保持、段階的な推論の分解についてモデルを学習させました。
  2. NeMo Gymマルチ環境シミュレーション:スカラー報酬モデルで静的なテキスト回答を評価する(文体的な冗長さに報酬を与えてしまう傾向がある)のではなく、NVIDIAはNemotron 3 Superを21種類のインタラクティブな仮想環境に投入しました。モデルには、実際のシェルコマンドの実行、モックファイルシステムの検査、ユニットテストスイートの実行、壊れたコードベースのデバッグが課されました。
  3. トラジェクトリベースの強化学習(NeMo RL)120万回以上の環境ロールアウトにわたりGroup Relative Policy Optimization(GRPO)およびDirect Alignment with Policy Optimization(DAPO)を活用し、検証可能な客観的成功(ユニットテストの合格、セキュリティCVEの解決、正しいAPIペイロードの返却)に対してのみモデルに報酬を与えました。これにより、複雑なマルチステップタスクにおける目標ドリフトが排除されました。

5. 包括的なベンチマーク実証結果

実環境におけるパフォーマンスを評価するため、LLMPodiumはNemotron 3 Superを対象に、主要なオープンモデルおよびプロプライエタリなフロンティアモデルと比較する形で、標準化された推論、コーディング、長文コンテキスト検索、自律型エージェントの各ベンチマークにわたる評価を実施しました。

包括的なベンチマーク比較マトリクス(2026年後半)

+--------------------------+-------------------+---------------+---------------+---------------+-------------+--------------+
|                                     FRONTIER & OPEN MODEL BENCHMARK COMPARISON MATRIX                                     |
+--------------------------+-------------------+---------------+---------------+---------------+-------------+--------------+
| Benchmark / Metric       | Nemotron 3 Super  | GPT OSS 120B  | Qwen 2.5 72B  | DeepSeek V3   | Claude 3.5  | GPT-4o       |
|                          | (120B-A12B)       | (Dense 120B)  | (Dense 72B)   | (671B-A37B)   | Sonnet      | (Omni)       |
+--------------------------+-------------------+---------------+---------------+---------------+-------------+--------------+
| Open Source License      | Yes (Nemotron)    | Yes (Apache2) | Yes (Apache2) | Yes (MIT)     | Closed API  | Closed API   |
| PinchBench (OpenClaw)    | 85.6%             | 74.2%         | 76.8%         | 84.1%         | 88.4%       | 86.2%        |
| SWE-bench Verified       | 61.4%             | 52.8%         | 54.2%         | 64.7%         | 65.8%       | 53.8%        |
| LiveCodeBench v6         | 59.2%             | 48.6%         | 52.4%         | 62.1%         | 64.2%       | 58.4%        |
| HumanEval (Pass@1)       | 91.8%             | 84.6%         | 86.4%         | 92.6%         | 93.7%       | 90.2%        |
| AIME 2026 (Pass@1)       | 79.4%             | 66.2%         | 68.8%         | 84.2%         | 83.6%       | 78.2%        |
| MMLU-Pro                 | 84.5%             | 76.8%         | 79.2%         | 86.8%         | 87.2%       | 85.6%        |
| Needle-In-Haystack       | 99.8% (1M Tokens) | 88.4% (128k)  | 92.1% (128k)  | 99.4% (128k)  | 99.9% (200k)| 99.2% (128k) |
| Output Tokens/s (B200)   | 142 tok/s         | 34 tok/s      | 48 tok/s      | 78 tok/s      | Serverless  | Serverless   |
| Active Params/Token      | 12B               | 120B          | 72B           | 37B           | Proprietary | Proprietary  |
+--------------------------+-------------------+---------------+---------------+---------------+-------------+--------------+

1. PinchBench(自律型OpenClawエージェント指標)

PinchBenchは、LLMが長時間稼働する自律型エージェント(OpenClawやOpenCodeなど)の主要な認知的エンジンとしてどれほど効果的に機能するかを評価します。エージェントは、複数ファイルのリファクタリング、非同期ツール呼び出し、シェルコマンドの合成、および自己修復によるエラーリカバリに関してテストされます。

  • Nemotron 3 Superは驚異的な85.6%を達成し、同パラメータクラスの他のすべてのオープンウェイトモデルを凌駕しました(GPT OSS 120Bを+11.4%、Qwen 2.5 72Bを+8.8%上回る)。
  • 重要な点として、エンタープライズのセルフホスト型インフラストラクチャ上で完全に動作しながらも、クローズドな商用フロンティアモデル(Claude 3.5 Sonnetの88.4%)に肉薄しています。

2. SWE-bench Verified & LiveCodeBench v6

  • SWE-bench Verifiedにおいて、Nemotron 3 Superは実際のGitHubエンジニアリング課題の61.4%を自律的に解決し、プロプライエタリなGPT-4o(53.8%)を上回り、DeepSeek V3(64.7%)に迫る結果を残しました。
  • トレーニングのカットオフ日以降に公開された競技プログラミング課題をテストするLiveCodeBench v6では、Nemotron 3 Superは59.2%を達成し、訓練データの単なる暗記にとどまらない堅牢な汎化性能を実証しました。

3. 1,000,000トークンにおけるNeedle-in-a-Haystack検証

Mamba-2バックボーン内に戦略的にインターリーブ配置されたTransformerアテンション層のおかげで、Nemotron 3 Superはネイティブの1Mトークンコンテキストウィンドウ全体で99.8%の検索精度を達成しました。極端なシーケンス長において正確なシーケンス再現に苦戦する純粋なSSMモデルとは対照的に、Nemotron 3 Superは1Mトークンのプロンプト全体にわたり、任意の位置に配置された数値トークンや固有のUUIDを劣化させることなく正確に取得しました。


6. エンタープライズオンプレミス展開:ハードウェア、CLI、およびサービングトポロジー

Nemotron 3 Superはトークンあたり120億パラメータのみをアクティブ化し、ネイティブのNVFP4精度をサポートしているため、本番環境でのサービングフットプリントは従来のDense 120BモデルやMoE 671Bモデルと比較して極めてコンパクトです。

+----------------------------------------------------------------------------------------------------+
|                             ENTERPRISE HARDWARE SERVING TOPOLOGY MATRIX                            |
+-------------------+---------------------+-------------------+------------------+-------------------+
| Hardware Cluster  | Precision / Dtype   | Supported Context | Output Throughput| Target Workload   |
+-------------------+---------------------+-------------------+------------------+-------------------+
| 2x NVIDIA H100    | NVFP4 / FP4 Block   | Up to 128k Tokens | ~85 tok/s        | Low-Volume Agent  |
| 4x NVIDIA H100    | FP8 (e4m3fn)        | Up to 512k Tokens | ~110 tok/s       | High-Throughput   |
| 8x NVIDIA H200    | FP8 (141GB HBM3e)   | Full 1,000,000 Tok| ~128 tok/s       | Enterprise 1M RAG |
| 4x NVIDIA B200    | Native NVFP4 Tensor | Full 1,000,000 Tok| ~185 tok/s       | Frontier Scaled   |
+-------------------+---------------------+-------------------+------------------+-------------------+

vLLM(v0.9.x+)を使用した本番環境への展開

コンティニュアスバッチングとFP8量子化を用いて、4x NVIDIA H100 SXM5ノードにNemotron 3 Superを展開する構成:

# Launch Nemotron 3 Super via vLLM with MTP speculation and tensor parallelism
python3 -m vllm.entrypoints.openai.api_server \
    --model nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-FP8 \
    --tensor-parallel-size 4 \
    --dtype float8_e4m3fn \
    --kv-cache-dtype fp8 \
    --max-model-len 131072 \
    --speculative-model nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-MTP \
    --num-speculative-tokens 3 \
    --gpu-memory-utilization 0.92 \
    --port 8000

NVIDIA TensorRT-LLMを使用した本番サービング

NVIDIA Blackwell(B200)クラスタでハードウェア効率を最大限に高めるには、ネイティブのTensorRT-LLMおよびNVFP4実行エンジンを使用してサービングを行うことで、最小のレイテンシを実現できます:

# Compile and serve optimized TensorRT-LLM engine with NVFP4 Latent MoE kernels
trtllm-build \
    --checkpoint_dir ./nemotron-3-super-120b-nvfp4 \
    --output_dir ./nemotron_trt_engine \
    --gemm_plugin float16 \
    --max_batch_size 64 \
    --max_input_len 65536 \
    --max_output_len 8192 \
    --moe_tp_size 4 \
    --enable_latent_moe \
    --nvfp4_tensor_cores enable

# Launch high-concurrency Triton Inference Server
tritonserver --model-repository=/opt/models/nemotron_trt_engine --http-port=8001

Python OpenAI互換クライアントの実行

展開が完了すると、Nemotron 3 Superはマルチエージェントフレームワーク(OpenClaw、AutoGen、LangGraphなど)と互換性のあるOpenAI互換REST APIを公開します:

import os
from openai import OpenAI

# Connect to local on-premise Nemotron 3 Super endpoint
client = OpenAI(
    api_key=os.getenv("NEMOTRON_API_KEY", "local-enterprise-token"),
    base_url="http://localhost:8000/v1"
)

response = client.chat.completions.create(
    model="nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-FP8",
    messages=[
        {
            "role": "system",
            "content": "You are an autonomous systems engineering agent. Execute multi-step diagnosis and emit structured JSON tool actions."
        },
        {
            "role": "user",
            "content": "Inspect the distributed Kubernetes cluster state, diagnose memory leak trends in the ingestion pod, and generate remediation patches."
        }
    ],
    temperature=0.4,
    max_tokens=4096,
    extra_body={
        "speculative_draft_tokens": 3,
        "mamba_state_caching": True
    }
)

print(response.choices[0].message.content)

7. エンタープライズにおけるオンプレミスの経済性と総所有コスト(TCO)

nemotron 3 superをオンプレミスにデプロイする商業的な妥当性は、厳格なデータ主権を保証しながら、予測不可能なAPIトークン支出を排除することに集約されます。

+----------------------------------------------------------------------------------------------------+
|                     TOTAL COST OF OWNERSHIP (TCO): 1 BILLION TOKENS / MONTH                        |
+-----------------------------+--------------------+---------------------+---------------------------+
| Deployment Model            | Ingestion / Output | Monthly Running Cost| Annual Total Cost (12 mo) |
+-----------------------------+--------------------+---------------------+---------------------------+
| Claude 3.5 Sonnet (API)     | $3.00 / $15.00 /1M | $6,600 / month      | $79,200 / year            |
| GPT-4o (Commercial API)     | $2.50 / $10.00 /1M | $4,750 / month      | $57,000 / year            |
| DeepSeek V3 (Cloud API)     | $0.14 / $0.28 /1M  | $182 / month        | $2,184 / year             |
| Nemotron 3 Super (Cloud VPS)| Reserved 4x H100   | $1,440 / month      | $17,280 / year (Fixed)    |
| Nemotron 3 Super (On-Prem)  | 4x H100 DGX Amort. | $720 / month *      | $8,640 / year (Fixed)     |
+-----------------------------+--------------------+---------------------+---------------------------+
*On-premise hardware costs amortized over a 36-month depreciation schedule including enterprise power and cooling.

TCOの損益分岐点(ブレークイーブン・スレッショルド)

  • 予測可能な固定コスト: 月間処理量が1億トークン未満の場合、サーバーレスのクラウドAPIが依然として費用対効果に優れています。しかし、エンタープライズのエージェント群が月間3億5,000万トークン(24時間365日稼働する自動コーディングやデータ抽出エージェント群では一般的)を超えてスケールすると、4x H100ノードでNemotron 3 Superをセルフホストする方が、商用プロプライエタリAPIよりも劇的に安価になります。
  • データ送受信(Ingress/Egress)におけるセキュリティリスクゼロ: 厳格に規制されたセクター(フィンテック、ヘルスケア、防衛)では、社内の知的財産や非公開の顧客レコードをサードパーティのエンドポイントに送信することはコンプライアンス要件に違反します。Nemotron 3 Superは、企業ファイアウォールの背後で完全にエアギャップ(隔離)された状態で稼働します。
  • エネルギー消費量を5分の1に削減: トークンごとに全パラメータを活性化する高密度(Dense)な120Bアーキテクチャと比較して、わずか12Bのパラメータのみをアクティブ化することで、生成トークンあたりの稼働電力を70%以上削減し、企業のデータセンターにおける電力および冷却コストの大幅な節約を実現します。

8. 戦略的ブループリント:「Super + Nano」エージェントデプロイメントパターン

現代のエンタープライズアーキテクチャにおいて、エンジニアリングチームはすべてのワークフローに単一のモノリシックモデルをデプロイすることはありません。代わりに、協調型のマルチティア階層をデプロイします。

                  ┌─────────────────────────────────┐
                  │    Incoming Task / User Request  │
                  └────────────────┬────────────────┘
                                   │
                                   ▼
                  ┌─────────────────────────────────┐
                  │    Nemotron 3 Super (120B-A12B)  │
                  │   - High-Level Task Planning    │
                  │   - Architectural Decomposition │
                  │   - Multi-Step Error Diagnosis  │
                  └────────┬───────────────┬────────┘
                           │               │
            Delegated      │               │ Delegated
            Atomic Task A  │               │ Atomic Task B
                           ▼               ▼
           ┌──────────────────────┐ ┌──────────────────────┐
           │ Nemotron 3 Nano (9B) │ │ Nemotron 3 Nano (9B) │
           │ - Bash Shell Command │ │ - Unit Test Runner   │
           │ - Syntax Validation  │ │ - Regex Verification │
           └──────────┬───────────┘ └──────────┬───────────┘
                      │                        │
                      └────────────┬───────────┘
                                   ▼
                  ┌─────────────────────────────────┐
                  │  Synthesized Production Result  │
                  └─────────────────────────────────┘
  • 認知的オーケストレーターとしてのNemotron 3 Super: Superは、高度な推論、システムアーキテクチャの設計、100万トークンのコンテキストウィンドウにわたる長期的な依存関係の追跡、および自律回復的なエラー診断を統括します。
  • 戦術的ワーカーとしてのNemotron 3 Nano: 軽量なNemotron 3 Nano(9B)インスタンスは、Linterの実行、単一のGitコマンドの実行、ユニットテストテンプレートの生成、JSONペイロードの解析などのマイクロタスクを実行します。
  • 経済的効率性: この階層的なタスク分割により、すべての原子的ステップを大規模な推論エンジンにルーティングする場合と比較して、総GPUコンピュート支出をさらに60%削減できます。

9. 結論とLLMPodiumによるアーキテクチャ総評

NVIDIA Nemotron 3 Superのリリースは、オープンソースAIにおける根本的な転換点となります。モノリシックなTransformerアーキテクチャから果敢に脱却し、Mamba-2の状態空間双対性(State Space Duality)Latent MoE(潜在MoE)の低ランクルーティング、そしてBlackwellネイティブのNVFP4事前学習を融合させたことで、NVIDIAは推論効率に優れたエージェンティック・インテリジェンスの新たなゴールドスタンダードを打ち立てました。

エンジニアリングリーダー向けの主要なアーキテクチャ要点:

  1. 比類なきエージェント適性: PinchBenchにおける85.6%のスコアは、Nemotron 3 SuperがOpenClawなどのマルチエージェントスキャフォールドにおいて最高峰のオープンウェイト認知エンジンであることを証明しています。
  2. レイテンシペナルティのない長大コンテキスト: 線形時間計算量のMamba-2ブロックによって実現したネイティブ1,000,000トークンのコンテキストウィンドウは、従来のLLMにおける二次関数的なメモリの壁(quadratic memory wall)を打破します。
  3. Blackwellネイティブの高速化: NVFP4でネイティブに事前学習することで、精度の損失を無視できる水準に抑えながら、B200インフラストラクチャ上で4倍の推論高速化を実現します。
  4. 抜本的なTCOの最適化: トークンあたりのアクティブパラメータがわずか12Bであるため、企業はコスト効率の高い4x H100または2x B200のハードウェア構成でフロンティアクラスの推論機能を提供できます。

本番環境グレードの自律型エージェント群を構築するエンジニアリングチームにとって、nvidia nemotron 3 superは、エンタープライズプライバシー、圧倒的なトークンスループット、そしてフロンティアティアの推論能力が最適に融合した選択肢となります。

← 記事一覧へ
0 / 4