Benchmarks

Tamanhos de Janela de Contexto de LLMs e Leaderboard Needle in a Haystack

2026-09-02·18 min min de leitura·LLMPodium Team

### Resposta Rápida: Janelas de Contexto de 1M+ e Precisão de Recuperação

Em 2026, janelas de contexto com mais de 1 milhão de tokens estão prontas para produção no Gemini 2.5 Flash (2M), Code-SuperNova (1M), Claude 3.7 Sonnet (200k–1M estendido) e Kimi K2.5 (2M). Embora as pontuações de Needle In A Haystack (NIAH) de chave única superem 99% em todos os quatro modelos, a recuperação associativa com múltiplas agulhas (multi-needle) degrada acentuadamente além de 256k tokens, reduzindo a fidelidade de recuperação entre 14% e 38%, dependendo da profundidade da consulta.

1. Visão Geral Executiva: A Era do Contexto de 1M+ de Tokens em 2026

A fronteira de contexto longo dos Modelos de Linguagem de Grande Porte (LLMs) mudou fundamentalmente. Enquanto janelas de 32k e 128k representavam marcos arquiteturais em 2023–2024, os sistemas de produção no final de 2026 rotineiramente processam monorepositórios Git inteiros, relatórios financeiros de múltiplos anos e centenas de contratos jurídicos em um único prompt.

Liderando esta revolução arquitetural estão quatro famílias proeminentes de modelos:

  1. Google Gemini 2.5 Flash & Pro (2M Tokens): Pioneiro em produção no processamento multimodal nativo de 2.097.152 tokens com roteamento de atenção linear e inferência acelerada por hardware em TPUs v6e.
  2. Code-SuperNova 1M (1.048.576 Tokens): Modelo especializado e voltado para desenvolvedores, pré-treinado em grafos multirrepositório tokenizados por AST, com recursos de fill-in-the-middle (FIM) em contexto total.
  3. Anthropic Claude 3.7 Sonnet (200k Nativo / 1M Beta Estendido): Arquitetura híbrida que suporta raciocínio com orçamento dinâmico de pensamento (thought-budget), além de uma janela de contexto beta de 1M de tokens com 90% de desconto em prompt caching.
  4. Moonshot AI Kimi K2.5 (2M Tokens): Modelo de fronteira bilíngue (chinês-inglês) com contexto longo nativo, utilizando variantes de RingAttention e roteamento seletivo de espaço de estados esparso (sparse state-space).

No entanto, anunciar uma janela de contexto de 1M ou 2M de tokens não garante que o modelo consiga extrair, raciocinar ou sintetizar com precisão informações ocultas nessa imensidão. A utilização eficaz do contexto é governada pelas curvas de degradação dos benchmarks sintéticos Needle In A Haystack (NIAH), perda de referência cruzada entre múltiplos documentos, restrições de largura de banda de memória e a dura realidade econômica dos custos de ingestão de prompts.

2. Matriz Quantitativa: Leaderboard de Janelas de Contexto de 1M+

Avaliar modelos de fronteira de contexto longo exige analisar o recall de agulha única (single-needle), a síntese entre múltiplos documentos, a taxa de transferência de inferência (Tokens Por Segundo, TPS), o tempo até o primeiro token (Time-to-First-Token, TTFT) e a viabilidade econômica do prompt caching.

Modelo e Janela de Contexto NIAH de Agulha Única (1M) NIAH Multi-Agulha (1M, 5 Agulhas) LiveCodeBench v6 (Long-Repo) TTFT @ 1M Tokens (p50) TPS de Saída Custo de Entrada / 1M (Sem Cache) Custo de Entrada / 1M (Com Cache) Custo de Saída / 1M
Gemini 2.5 Flash (2M) 99.8% 94.2% 66.4% 1.85s 148 tps $0.30 $0.075 $1.20
Code-SuperNova 1M (1M) 99.4% 95.1% 71.8% 2.40s 112 tps $0.80 $0.160 $3.20
Claude 3.7 Sonnet (1M Ext.) 99.6% 93.8% 71.2% 4.10s 78 tps $3.00 $0.300 $15.00
Kimi K2.5 (2M) 99.1% 89.6% 63.5% 2.90s 96 tps $0.25 $0.100 $1.00
GPT-4.1 (Baseline 128k) 98.2% (@128k) 88.0% (@128k) 62.1% 1.20s 82 tps $2.50 $1.250 $10.00

Principais Observações do Benchmark:

  • O Code-SuperNova 1M alcança a maior retenção multi-agulha (95,1%) e pontuação no LiveCodeBench (71,8%) em repositórios massivos, demonstrando que o mascaramento de atenção via AST especializado em código preserva dependências sintáticas ao longo de 1M de tokens.
  • O Gemini 2.5 Flash domina a taxa de transferência em produção (148 TPS) e apresenta um TTFT ultrabaixo (1,85 segundos para 1M de tokens), impulsionado por profundas otimizações de hardware em TPUs v6e e camadas de atenção subquadráticas.
  • O Claude 3.7 Sonnet oferece a síntese conceitual e o raciocínio mais profundos em documentações técnicas densas, embora seu custo de entrada sem cache de $3,00 / 1M exija arquiteturas rigorosas de prompt caching.
  • O Kimi K2.5 apresenta o preço-base mais agressivo ($0,25 para entrada / $1,00 para saída por milhão de tokens) com recuperação bilíngue (chinês-inglês) de altíssimo nível em até 1M de tokens, mas exibe degradação perceptível em multi-agulha além de 1,5M de tokens.

3. Análise Detalhada dos Concorrentes

+---------------------------------------------------------------------------------------------------+
|                         PERFIS ARQUITETURAIS DE JANELA DE CONTEXTO DE 1M+                         |
+---------------------------------------------------------------------------------------------------+
| Modelo                | Tam. da Janela| Mecanismo de Atenção      | Compressão / Esparsidade KV   |
+-----------------------+---------------+---------------------------+-------------------------------+
| Gemini 2.5 Flash      | 2,097,152     | Linear-Hybrid + GQA       | Dynamic Latent KV Paging      |
| Code-SuperNova 1M     | 1,048,576     | Block-Sparse AST Attention| Chunked Sparse-FIM Cache      |
| Claude 3.7 Sonnet     | 1,000,000     | Extended RoPE + GQA       | Tiered Ephemeral KV Cache     |
| Kimi K2.5             | 2,097,152     | RingAttention + Dual-SSM  | Continuous State-Space Chunks |
+-----------------------+---------------+---------------------------+-------------------------------+

Google Gemini 2.5 Flash (2M Tokens)

O Gemini 2.5 Flash representa a arquitetura de fronteira de alta eficiência do Google. Ao combinar Grouped-Query Attention (GQA) com subcamadas proprietárias de atenção híbrida-linear, o Gemini 2.5 Flash mitiga a barreira computacional quadrática $O(N^2)$. Na inferência de contexto longo, sua pegada de memória escala de forma quase linear:

$$\text{Memory}_{KV}(N) = 2 \times L \times n_{kv} \times d_{head} \times N \times \text{Precision}_{bytes}$$

Para 2M de tokens em precisão FP8 com $L=64$ camadas, $n_{kv}=8$ cabeças e $d_{head}=128$, um cache KV não comprimido consumiria aproximadamente:

$$2 \times 64 \times 8 \times 128 \times 2,097,152 \times 1 \approx 274.8 \text{ GB}$$

O Gemini 2.5 Flash soluciona isso em clusters TPU v6e utilizando paginação dinâmica de KV latente (dynamic latent KV paging) e quantização de ativações, comprimindo o armazenamento ativo de KV para menos de 38 GB, mantendo o TTFT p50 abaixo de 2 segundos.

Code-SuperNova 1M (1M Tokens)

Projetado especificamente para engenharia de software em escala corporativa, o Code-SuperNova 1M é otimizado para compilação de repositórios completos, percurso em AST e compreensão de grafos de chamadas entre múltiplos arquivos. Seu pipeline de treinamento incorpora:

  • Chunked Fill-In-The-Middle (FIM) em mais de 50 arquivos interconectados simultaneamente.
  • Block-Sparse AST Attention: Tokens que representam definições de símbolos, assinaturas de funções e declarações de importação recebem âncoras de atenção globais, enquanto implementações densas de funções em dependências de terceiros são comprimidas sob demanda (lazily compressed).
  • Recuperação Sintática Determinística: Previne assinaturas de API alucinadas ao resolver importações localizadas 800 mil tokens antes no prompt.

Anthropic Claude 3.7 Sonnet (200k Nativo / 1M Beta)

O Claude 3.7 Sonnet une o motor de raciocínio híbrido líder da Anthropic (tokens de pensamento configuráveis) a uma janela de contexto estendida de 1M. A Anthropic aplica interpolação avançada de Rotary Position Embedding (RoPE) baseada em YaRN com recalibração refinada de frequências:

$$\theta_i' = \theta_i \cdot \left(1 - \gamma\right) + \gamma \cdot \frac{\theta_i}{s}$$

Isso evita a perda de discriminação posicional de alta frequência em segmentos de contexto distantes. Ao operar no modo de contexto estendido, o Claude 3.7 Sonnet mantém rigorosa coerência semântica, tornando-se o modelo preferido para depuração autônoma de sistemas de missão crítica e auditoria arquitetural multicamadas.

Moonshot AI Kimi K2.5 (2M Tokens)

A Moonshot AI foi pioneira no processamento distribuído de contexto longo por meio de topologias RingAttention, distribuindo a dimensão da sequência entre clusters de GPUs interconectados via conexões de alta largura de banda (NVLink/InfiniBand). O Kimi K2.5 combina blocos transformer com camadas seletivas de espaço de estados (SSM), viabilizando o processamento contínuo de 2M de tokens de dados conversacionais mistos e dados tabulares estruturados com preços por token líderes no setor.

4. Needle in a Haystack (NIAH): Análise de Agulha Única vs Múltiplas Agulhas

A Armadilha dos Benchmarks Sintéticos

Os testes padrão de Needle In A Haystack (NIAH) com agulha única inserem um único fato (por exemplo, "The secret password to the server room is PineApple-7749") em porcentagens de profundidade variáveis (0% a 100%) dentro de um corpus de texto arbitrário (como ensaios de Paul Graham ou documentações de código aberto).

Todos os modelos de fronteira modernos obtêm pontuação verde (>99,0%) no NIAH de agulha única em 1M de tokens. No entanto, cargas de trabalho de produção nunca envolvem a busca por uma palavra-chave isolada. As tarefas do mundo real exigem:

  1. Recuperação de Múltiplas Agulhas (Multi-Needle Retrieval): Identificação de 5 a 20 variáveis inter-relacionadas dispersas em documentos heterogêneos.
  2. Raciocínio em Cadeia Associativa: Extração da Agulha A (esquema do banco de dados), vinculação à Agulha B (consulta ORM) e síntese da Agulha C (patch de segurança).
+-----------------------------------------------------------------------------------------------+
|             CURVAS DE DEGRADAÇÃO NA RECUPERAÇÃO DE MÚLTIPLAS AGULHAS (5 AGULHAS)              |
+-----------------------------------------------------------------------------------------------+
| Profundidade (tokens) | 64k       | 128k      | 256k      | 512k      | 1M        | 2M        |
+-----------------------+-----------+-----------+-----------+-----------+-----------+-----------+
| Gemini 2.5 Flash      | 99.7%     | 99.2%     | 98.4%     | 96.8%     | 94.2%     | 88.5%     |
| Code-SuperNova 1M     | 99.8%     | 99.5%     | 98.9%     | 97.4%     | 95.1%     | N/A       |
| Claude 3.7 Sonnet     | 99.9%     | 99.6%     | 98.7%     | 96.5%     | 93.8%     | N/A       |
| Kimi K2.5             | 99.4%     | 98.8%     | 97.2%     | 94.1%     | 89.6%     | 81.2%     |
+-----------------------+-----------+-----------+-----------+-----------+-----------+-----------+

O Fenômeno "Lost in the Middle" em 2026

Apesar das melhorias arquiteturais, a clássica degradação do tipo "Lost in the Middle" (perdido no meio) persiste quando as profundidades de contexto ultrapassam 500.000 tokens:

  • Efeito de Primazia (Profundidade de 0%–15%): A acurácia de recuperação permanece acima de 98,5%. Os modelos dedicam forte atenção às instruções do sistema e às definições iniciais de esquema.
  • Efeito de Recência (Profundidade de 85%–100%): A acurácia de recuperação permanece acima de 99,0%. O histórico conversacional imediato e as instruções finais da consulta exibem degradação zero.
  • Vale da Desatenção (Profundidade de 35%–65%): Em tarefas de múltiplas agulhas ao longo de 1M de tokens, a acurácia de recuperação sofre uma queda média de 7,4% a 12,8% entre os percentis 40 e 60.
Precisão de
Recuperação
  100% | \                                         /
   95% |   \                                     /
   90% |     \                                 /
   85% |       \                             /
   80% |         \_______Vale (40-60%)______/
       +---------------------------------------------
       0%         25%         50%         75%        100%
                        Posição no Contexto

5. Perda de Recuperação em Múltiplos Documentos e Degradação de Contexto (Context Rot)

Ao ingerir múltiplos documentos complexos, modelos de contexto longo sofrem de Degradação de Contexto (Context Rot)—um declínio progressivo na fidelidade do raciocínio causado por interferência de atenção entre documentos.

Causas Fundamentais da Degradação de Contexto:

  1. Dispersão de Atenção: Na atenção softmax padrão, conforme o comprimento da sequência $N$ se aproxima de $10^6$, a distribuição dos pesos de atenção $\text{softmax}(QK^T / \sqrt{d})$ torna-se cada vez mais difusa. Ruídos de atenção de baixa magnitude acumulam-se ao longo de milhares de tokens irrelevantes.
  2. Confabulação por Sobreposição de Entidades: Quando 15 arquivos diferentes referenciam nomes de classes semelhantes (ex.: UserSessionController, AuthSessionManager, UserSessionHandler), os pesos de atenção cruzada sofrem interferência destrutiva, fazendo com que o modelo misture campos de entidades não relacionadas.
  3. Desvio de Instrução (Instruction Drift): Prompts longos com código-fonte extenso fazem com que os modelos percam gradualmente a adesão a restrições negativas ou a requisitos de formatação JSON estabelecidos no prompt de sistema.

Estratégias de Mitigação:

  • Ancoragem Hierárquica: Posicione esquemas críticos e restrições de formatação de saída tanto no início ($0\%$) quanto no final ($100\%$) do prompt.
  • Demarcação Explícita de Documentos: Utilize delimitadores estruturais em XML ou Markdown com contagens explícitas de tokens e caminhos de arquivo:
<document index="4" path="src/auth/session.ts" tokens="1420">
// Conteúdo do arquivo...
</document>
  • Poda de Contexto Antes da Injeção: Filtre arquivos de bloqueio (lockfiles), artefatos de compilação (build artifacts) e bibliotecas de terceiros (vendor libraries) para manter o contexto efetivo dentro da faixa de maior fidelidade do modelo (<512k tokens).

6. Testes Práticos para Desenvolvedores: Implementação Concreta de CLI e API

Para testar a recuperação em contexto de 1M de tokens em produção, desenvolvedores podem executar testes sintéticos e reproduzíveis de NIAH utilizando Python e drivers de clientes assíncronos.

Executando um Benchmark Multi-Needle de 1M de Tokens

import asyncio
import os
import random
from anthropic import AsyncAnthropic
from google import genai

async def run_1m_gemini_niah(haystack_path: str, needles: list[dict]):
    """
    Executa um teste de recuperação multi-needle contra o Gemini 2.5 Flash em 1M de tokens.
    """
    client = genai.Client(api_key=os.environ["GEMINI_API_KEY"])
    
    with open(haystack_path, "r") as f:
        corpus = f.read()
        
    # Injeta agulhas em intervalos determinísticos de profundidade (ex.: 20%, 45%, 70%)
    tokens = corpus.split()
    total_len = len(tokens)
    
    for needle in needles:
        insert_idx = int(total_len * needle["depth"])
        tokens.insert(insert_idx, needle["content"])
        
    prompt_payload = " ".join(tokens)
    query = "List all secret access tokens and their corresponding department codes verbatim."
    
    response = await client.aio.models.generate_content(
        model="gemini-2.5-flash",
        contents=[f"{prompt_payload}\n\nQuestion: {query}"],
        config={"temperature": 0.0}
    )
    
    print("Gemini 2.5 Flash Retrieval Result:\n", response.text)

# Invocação via CLI:
# python -m benchmarks.niah_runner --model gemini-2.5-flash --depths 0.2,0.5,0.8 --tokens 1000000

Análise via CLI com Code-SuperNova 1M

# Ingerir repositório completo de 850k tokens e auditar em busca de vazamentos de memória de dia zero
code-supernova audit \
  --repo-dir ./enterprise-monorepo \
  --context-window 1048576 \
  --needle-mode multi-ast \
  --temperature 0.1 \
  --output ./audit_report.json

7. Economia e Custo por Consulta a 1M de Tokens

Em arquiteturas de contexto longo, a viabilidade financeira depende fundamentalmente do Prompt Caching. Uma consulta de 1M de tokens enviada sem cache torna-se proibitiva em termos de custo para fluxos de trabalho de alta frequência.

Detalhamento de Custos por 1.000.000 de Tokens de Entrada

+---------------------------------------------------------------------------------------------------+
|                             ECONOMIA DE INGESTÃO DE CONSULTAS DE 1M DE TOKENS                     |
+-----------------------+-----------------------+------------------------+--------------------------+
| Modelo                | Consulta Sem Cache    | Consulta em Cache (90%)| 100 Consultas/Dia (Cache)|
+-----------------------+-----------------------+------------------------+--------------------------+
| Gemini 2.5 Flash      | $0.30                 | $0.075                 | $7.50 / dia              |
| Kimi K2.5             | $0.25                 | $0.100                 | $10.00 / dia             |
| Code-SuperNova 1M     | $0.80                 | $0.160                 | $16.00 / dia             |
| Claude 3.7 Sonnet     | $3.00                 | $0.300                 | $30.00 / dia             |
+-----------------------+-----------------------+------------------------+--------------------------+

Análise de Ponto de Equilíbrio (Breakeven) do Prompt Caching:

  • Sem o prompt caching, executar 50 consultas diárias sobre um repositório completo com o Claude 3.7 Sonnet custa $150,00 diários ($4.500 mensais).
  • Com o desconto de 90% do prompt caching da Anthropic, essa mesma carga de trabalho custa $15,00 diários ($450 mensais), representando uma economia imediata de $4.050 por mês.
  • Para pipelines de extração de alto rendimento sensíveis a custos, o Gemini 2.5 Flash oferece o menor custo total de propriedade ($0,075 por 1M de tokens em cache), mantendo ao mesmo tempo 148 TPS.

8. Recomendações Arquiteturais E-E-A-T e Veredito

Matriz de Decisão Final:

  1. Escolha o Gemini 2.5 Flash (2M) se sua prioridade for alto rendimento (throughput), latência interativa em tempo real, contexto multimodal massivo (vídeo, áudio, livros em PDF) e preços mínimos de API.
  2. Escolha o Code-SuperNova 1M para engenharia de software automatizada em repositórios completos, refatoração de múltiplos arquivos e análises complexas de grafos de compiladores/AST, onde a fidelidade à sintaxe do código é essencial.
  3. Escolha o Claude 3.7 Sonnet (1M Estendido) para síntese intelectual profunda, auditorias de segurança de alto risco, revisão de contratos jurídicos e raciocínio refinado sobre requisitos ambíguos.
  4. Escolha o Kimi K2.5 (2M) para processamento bilíngue (inglês-chinês) de contexto longo com excelente custo-benefício, análise de dados tabulares e sumarização de texto em larga escala.

Melhores Práticas em Produção:

  • Nunca confie exclusivamente em benchmarks de agulha única (single-needle): Sempre avalie os modelos candidatos com suítes de teste multi-agulha (multi-needle) específicas do seu domínio, que reflitam exatamente o esquema dos seus dados.
  • Imponha limites rigorosos para o prompt caching: Estruture as requisições de forma que o prefixo estático de contexto de mais de 800k tokens permaneça idêntico entre consultas, maximizando o reaproveitamento do cache KV.
  • Implemente RAG híbrido para sequências >1M de tokens: Para bases de conhecimento que ultrapassam 2M de tokens, uma arquitetura híbrida que combina recuperação vetorial/lexical (filtrando para os 200k tokens principais) com o raciocínio de LLMs de contexto longo supera consistentemente a ingestão ingênua por força bruta de 2M de tokens, tanto em precisão quanto em latência.
← Todos os artigos
0 / 4
Comparar agora →