بینچ مارکس

LLM کونٹیکسٹ ونڈو سائزز اور نیڈل اِن آ ہیسٹیک لیڈر بورڈ

2026-09-02·18 منٹ منٹ مطالعہ·LLMPodium Team

### فوری جواب: 1M+ کونٹیکسٹ ونڈوز اور معلومات کی بازیافت کی درستگی

2026 میں، 1M+ ٹوکن کونٹیکسٹ ونڈوز Gemini 2.5 Flash (2M)، Code-SuperNova (1M)، Claude 3.7 Sonnet (200k–1M توسیعی)، اور Kimi K2.5 (2M) پر پروڈکشن کے لیے مکمل طور پر تیار ہیں۔ اگرچہ سنگل-کی نیڈل اِن آ ہیسٹیک (NIAH) کے اسکورز تمام چاروں ماڈلز میں 99% سے زیادہ ہیں، لیکن ملٹی-نیڈل ایسوسی ایٹیو ریٹریول 256k ٹوکنز سے آگے تیزی سے زوال پذیر ہوتی ہے، جس کے نتیجے میں استفسار (query) کی گہرائی کے لحاظ سے بازیافت کی درستی 14% سے 38% تک گر جاتی ہے۔

1۔ ایگزیکٹو جائزہ: 2026 میں 1M+ ٹوکن کونٹیکسٹ کا دور

لارج لینگویج ماڈلز (LLMs) کے طویل کونٹیکسٹ کی حدود بنیادی طور پر تبدیل ہو چکی ہیں۔ جہاں 2023–2024 میں 32k اور 128k کی ونڈوز تکنیکی سنگ میل سمجھی جاتی تھیں، وہیں 2026 کے اواخر میں پروڈکشن سسٹمز معمول کے مطابق مکمل Git مونو ریپوزیٹریز، کئی سالوں پر محیط مالیاتی فائلنگز، اور سینکڑوں قانونی معاہدوں کو ایک ہی پرامپٹ میں شامل کر لیتے ہیں۔

اس معمارانہ انقلاب کی قیادت چار نمایاں ماڈل فیملیز کر رہی ہیں:

  1. Google Gemini 2.5 Flash اور Pro (2M ٹوکنز): لکیری توجہ کی روٹنگ (linear attention routing) اور ہارڈویئر ایکسلریٹڈ TPU v6e انفرفنس کے ساتھ نیٹو 2,097,152-ٹوکن ملٹی موڈل پروسیسنگ کا پروڈکشن پاینیر۔
  2. Code-SuperNova 1M (1,048,576 ٹوکنز): ڈویلپرز کے لیے مخصوص ماڈل جو AST-ٹوکنائزڈ ملٹی ریپوزیٹری گراف پر پہلے سے تربیت یافتہ ہے، مع مکمل کونٹیکسٹ Fill-in-the-Middle (FIM) صلاحیتوں کے ساتھ۔
  3. Anthropic Claude 3.7 Sonnet (200k نیٹو / 1M توسیعی بیٹا): ایک ہائبرڈ آرکیٹیکچر جو 90% پرامپٹ کیشنگ ڈسکاؤنٹ کے ساتھ 1M ٹوکن بیٹا کونٹیکسٹ ونڈو کے علاوہ ڈائنامک تھاٹ-بجٹ ریزننگ (فکری بجٹ پر مبنی استدلال) کو سپورٹ کرتا ہے۔
  4. Moonshot AI Kimi K2.5 (2M ٹوکنز): نیٹو طویل کونٹیکسٹ چینی اور انگریزی کا دو لسانی فرنٹیر ماڈل، جو RingAttention کی مختلف اقسام اور منتخب سپارس اسٹیٹ-اسپیس روٹنگ کا استعمال کرتا ہے۔

تاہم، 1M یا 2M ٹوکن کونٹیکسٹ ونڈو کی تشہیر اس بات کی ضمانت نہیں دیتی کہ ماڈل اس وسیع ذخیرے میں دفن معلومات کو درست طور پر اخذ کر سکتا ہے، اس پر استدلال کر سکتا ہے، یا اس کا خلاصہ تیار کر سکتا ہے۔ کونٹیکسٹ کا مؤثر استعمال مصنوعی Needle In A Haystack (NIAH) بینچ مارکس کے تنزلی کے منحنی خطوط (degradation curves)، ملٹی ڈاکومنٹ کراس ریفرنس کے نقصان، میموری بینڈوڈتھ کی رکاوٹوں، اور پرامپٹ ادخال (ingestion) کے اخراجات کی تلخ معاشی حقیقت پر منحصر ہے۔

2۔ مقداری میٹرکس: 1M+ کونٹیکسٹ ونڈو لیڈر بورڈ

طویل کونٹیکسٹ والے فرنٹیر ماڈلز کی جانچ کے لیے سنگل-نیڈل ریکال، ملٹی ڈاکومنٹ سنتھیسز، انفرینس تھرو پٹ (ٹوکنز فی سیکنڈ، TPS)، ٹائم-ٹو-فرسٹ-ٹوکن (TTFT)، اور پرامپٹ کیشنگ کی معاشیات کا جائزہ لینا ضروری ہے۔

ماڈل اور کونٹیکسٹ ونڈو سنگل-نیڈل NIAH (1M) ملٹی-نیڈل NIAH (1M، 5 نیڈلز) LiveCodeBench v6 (طویل ریپو) TTFT @ 1M ٹوکنز (p50) آؤٹ پٹ TPS ان پٹ لاگت / 1M (غیر کیش شدہ) ان پٹ لاگت / 1M (کیش شدہ) آؤٹ پٹ لاگت / 1M
Gemini 2.5 Flash (2M) 99.8% 94.2% 66.4% 1.85s 148 tps $0.30 $0.075 $1.20
Code-SuperNova 1M (1M) 99.4% 95.1% 71.8% 2.40s 112 tps $0.80 $0.160 $3.20
Claude 3.7 Sonnet (1M Ext.) 99.6% 93.8% 71.2% 4.10s 78 tps $3.00 $0.300 $15.00
Kimi K2.5 (2M) 99.1% 89.6% 63.5% 2.90s 96 tps $0.25 $0.100 $1.00
GPT-4.1 (128k بیس لائن) 98.2% (@128k) 88.0% (@128k) 62.1% 1.20s 82 tps $2.50 $1.250 $10.00

بینچ مارک کے اہم مشاہدات:

  • Code-SuperNova 1M وسیع ریپوزیٹریز میں سب سے زیادہ ملٹی-نیڈل ریٹینشن (95.1%) اور LiveCodeBench اسکور (71.8%) حاصل کرتا ہے، جو یہ ظاہر کرتا ہے کہ کوڈ کے لیے مخصوص AST اٹینشن ماسکنگ 1M ٹوکنز کے دوران نحوی انحصار (syntactic dependencies) کو محفوظ رکھتی ہے۔
  • Gemini 2.5 Flash سرونگ تھرو پٹ (148 TPS) اور انتہائی تیز رفتار TTFT (1M ٹوکنز کے لیے 1.85 سیکنڈ) میں سرفہرست ہے، جس کی بدولت TPU v6e کی گہری ہارڈویئر آپٹیمائزیشنز اور سب-کوآڈریٹک اٹینشن لیئرز ہیں۔
  • Claude 3.7 Sonnet پیچیدہ تکنیکی دستاویزات میں سب سے گہرا تصوراتی تجزیہ اور استدلال فراہم کرتا ہے، اگرچہ اس کی بغیر کیش کے $3.00 / 1M ان پٹ لاگت سخت پرامپٹ کیشنگ آرکیٹیکچرز کا تقاضا کرتی ہے۔
  • Kimi K2.5 سب سے کم بنیادی قیمت ($0.25 ان پٹ / $1.00 آؤٹ پٹ فی ملین ٹوکنز) پیش کرتا ہے جس میں 1M ٹوکنز تک شاندار چینی-انگریزی دو لسانی بازیافت شامل ہے، لیکن یہ 1.5M ٹوکنز سے آگے ملٹی-نیڈل کارکردگی میں واضح زوال دکھاتا ہے۔

3۔ اہم دعویداروں کا تفصیلی جائزہ

+---------------------------------------------------------------------------------------------------+
|                            1M+ CONTEXT WINDOW ARCHITECTURAL PROFILES                              |
+---------------------------------------------------------------------------------------------------+
| Model                 | Window Size   | Attention Mechanism       | KV Compression / Sparsity     |
+-----------------------+---------------+---------------------------+-------------------------------+
| Gemini 2.5 Flash      | 2,097,152     | Linear-Hybrid + GQA       | Dynamic Latent KV Paging      |
| Code-SuperNova 1M     | 1,048,576     | Block-Sparse AST Attention| Chunked Sparse-FIM Cache      |
| Claude 3.7 Sonnet     | 1,000,000     | Extended RoPE + GQA       | Tiered Ephemeral KV Cache     |
| Kimi K2.5             | 2,097,152     | RingAttention + Dual-SSM  | Continuous State-Space Chunks |
+-----------------------+---------------+---------------------------+-------------------------------+

Google Gemini 2.5 Flash (2M ٹوکنز)

Gemini 2.5 Flash گوگل کے اعلیٰ کارکردگی والے جدید ترین آرکیٹیکچر کی نمائندگی کرتا ہے۔ Grouped-Query Attention (GQA) کو ملکیتی لکیری-ہائبرڈ (linear-hybrid) توجہ کی ذیلی تہوں کے ساتھ جوڑ کر، Gemini 2.5 Flash مربی $O(N^2)$ کمپیوٹ رکاوٹ کو کم کرتا ہے۔ طویل سیاق و سباق کے استدلال (long-context inference) میں، اس کا میموری فٹ پرنٹ نیم لکیری (quasi-linearly) انداز میں اسکیل ہوتا ہے:

$$\text{Memory}_{KV}(N) = 2 \times L \times n_{kv} \times d_{head} \times N \times \text{Precision}_{bytes}$$

FP8 پریسیشن پر 2M ٹوکنز کے لیے، جہاں تہیں $L=64$، ہیڈز $n_{kv}=8$، اور $d_{head}=128$ ہوں، ایک غیر کمپریس شدہ KV کیشے تقریباً اتنی میموری استعمال کرے گا:

$$2 \times 64 \times 8 \times 128 \times 2,097,152 \times 1 \approx 274.8 \text{ GB}$$

Gemini 2.5 Flash اسے TPU v6e کلسٹرز پر ڈائنامک لیٹنٹ KV پیجنگ اور ایکٹیویشن کوانٹائزیشن کے ذریعے حل کرتا ہے، جس کے تحت ایکٹو KV اسٹوریج 38 GB سے بھی کم ہو جاتی ہے جبکہ p50 TTFT دو سیکنڈ سے نیچے برقرار رہتا ہے۔

Code-SuperNova 1M (1M ٹوکنز)

انٹرپرائز پیمانے پر سافٹ ویئر انجینئرنگ کے لیے خاص طور پر تیار کردہ، Code-SuperNova 1M کو مکمل ریپوزیٹری کمپائلیشن، AST ٹراورسل، اور کراس-فائل کال-گراف کے ادراک کے لیے بہتر بنایا گیا ہے۔ اس کی ٹریننگ پائپ لائن میں شامل ہیں:

  • Chunked Fill-In-The-Middle (FIM): بیک وقت 50 سے زائد باہم مربوط فائلوں پر۔
  • Block-Sparse AST Attention: علامتوں کی تعریفوں (symbol definitions)، فنکشن سگنیچرز، اور امپورٹ اسٹیٹمنٹس کی نمائندگی کرنے والے ٹوکنز گلوبل اٹینشن اینکرز حاصل کرتے ہیں، جبکہ فریق ثالث (third-party) کی وابستگیوں کے اندر موجود گھنے فنکشن نفاذات (dense function implementations) کو سست روی سے کمپریس (lazily compressed) کیا جاتا ہے۔
  • Deterministic Syntax Recovery: پرامپٹ میں 800k ٹوکن پہلے موجود امپورٹس کو حل کرتے وقت غیر حقیقی (hallucinated) API سگنیچرز کی روک تھام کرتا ہے۔

Anthropic Claude 3.7 Sonnet (200k نیٹو / 1M بیٹا)

Claude 3.7 Sonnet اینتھروپک کے معروف ہائبرڈ ریزننگ انجن (ترتیب کے قابل تھاٹ ٹوکنز) کو ایک توسیعی 1M سیاق و سباق کی ونڈو کے ساتھ جوڑتا ہے۔ اینتھروپک نے ایڈوانسڈ YaRN پر مبنی روٹری پوزیشن ایمبیڈنگ (RoPE) انٹرپولیشن کو باریک بینی سے ایڈجسٹ شدہ فریکوئنسی ری کیلیبریشن کے ساتھ لاگو کیا ہے:

$$\theta_i' = \theta_i \cdot \left(1 - \gamma\right) + \gamma \cdot \frac{\theta_i}{s}$$

یہ دور دراز سیاق و سباق کے حصوں میں ہائی فریکوئنسی پوزیشنی امتیاز کے ضیاع کو روکتا ہے۔ توسیعی سیاق و سباق موڈ میں کام کرتے ہوئے، Claude 3.7 Sonnet سخت معنوی ہم آہنگی (semantic coherence) برقرار رکھتا ہے، جس کی بدولت یہ مشن کے لحاظ سے انتہائی اہم سسٹمز کی خود مختار ڈیبگنگ اور کثیر سطحی آرکیٹیکچرل آڈٹنگ کے لیے ترجیحی ماڈل بن جاتا ہے۔

Moonshot AI Kimi K2.5 (2M ٹوکنز)

Moonshot AI نے RingAttention ٹوپولوجیز کے ذریعے ڈسٹری بیوٹڈ لانگ-کانٹیکسٹ پروسیسنگ میں پیش رفت کی ہے، جس میں ہائی بینڈوڈتھ انٹرکنیکٹس (NVLink/InfiniBand) پر باہم جڑے GPU کلسٹرز کے مابین تسلسل کی جہت (sequence dimension) کو تقسیم کیا جاتا ہے۔ Kimi K2.5 ٹرانسفارمر بلاکس کو سلیکٹیو اسٹیٹ-اسپیس لیئرز (SSM) کے ساتھ ملا کر استعمال کرتا ہے، جس سے انڈسٹری کی سب سے کم ٹوکن قیمتوں کے ساتھ ملے جلے مکالماتی اور منظم ٹیبلر ڈیٹا کے 2M ٹوکنز کی مسلسل پروسیسنگ ممکن ہوتی ہے۔

4۔ بھوسے کے ڈھیر میں سوئی (NIAH): سنگل-نیڈل بمقابلہ ملٹی-نیڈل تجزیہ

مصنوعی بینچ مارک کا جال

معیاری سنگل-نیڈل "Needle In A Haystack" (NIAH) ٹیسٹ کسی بھی من مانے ٹیکسٹ کے ذخیرے (جیسے کہ پال گراہم کے مضامین یا اوپن سورس دستاویزات) کے اندر مختلف گہرائی کے تناسب (0% سے 100%) پر ایک واحد حقیقت (مثلاً، "The secret password to the server room is PineApple-7749") کو رکھ دیتے ہیں۔

ہر جدید صفِ اوّل کا ماڈل 1M ٹوکنز پر سنگل-نیڈل NIAH میں بہترین اسکور (>99.0%) حاصل کرتا ہے۔ تاہم، پروڈکشن ورک لوڈز کبھی بھی محض کسی الگ تھلگ کلیدی لفظ کی تلاش پر مشتمل نہیں ہوتے۔ حقیقی دنیا کے کاموں میں شامل ہیں:

  1. ملٹی-نیڈل بازیافت (Multi-Needle Retrieval): مختلف دستاویزات میں بکھرے ہوئے 5 سے 20 باہم مربوط متغیرات کی شناخت کرنا۔
  2. ایسوسی ایٹو چین ریزننگ (Associative Chain Reasoning): نیڈل A (ڈیٹابیس اسکیما) نکالنا، اسے نیڈل B (ORM کوئری) سے مربوط کرنا، اور نیڈل C (سیکیورٹی پیچ) تیار کرنا۔
+-----------------------------------------------------------------------------------------------+
|                     MULTI-NEEDLE RETRIEVAL DEGRADATION CURVES (5 NEEDLES)                     |
+-----------------------------------------------------------------------------------------------+
| Context Depth (Tokens)| 64k       | 128k      | 256k      | 512k      | 1M        | 2M        |
+-----------------------+-----------+-----------+-----------+-----------+-----------+-----------+
| Gemini 2.5 Flash      | 99.7%     | 99.2%     | 98.4%     | 96.8%     | 94.2%     | 88.5%     |
| Code-SuperNova 1M     | 99.8%     | 99.5%     | 98.9%     | 97.4%     | 95.1%     | N/A       |
| Claude 3.7 Sonnet     | 99.9%     | 99.6%     | 98.7%     | 96.5%     | 93.8%     | N/A       |
| Kimi K2.5             | 99.4%     | 98.8%     | 97.2%     | 94.1%     | 89.6%     | 81.2%     |
+-----------------------+-----------+-----------+-----------+-----------+-----------+-----------+

2026 میں "Lost in the Middle" کا مظہر

آرکیٹیکچرل بہتریوں کے باوجود، جب سیاق و سباق کی گہرائی 500,000 ٹوکنز سے تجاوز کر جاتی ہے تو روایتی "Lost in the Middle" کا تنزل اب بھی برقرار رہتا ہے:

  • ابتدائی ترجیحی اثر / پرائیمیسی ایفیکٹ (0%–15% گہرائی): بازیافت کی درستگی 98.5% سے اوپر رہتی ہے۔ ماڈلز سسٹم کی ہدایات اور ابتدائی اسکیما کی تعریفوں پر گہری توجہ دیتے ہیں۔
  • حالیہ ترجیحی اثر / ریسینسی ایفیکٹ (85%–100% گہرائی): بازیافت کی درستگی 99.0% سے اوپر رہتی ہے۔ فوری گفتگو کی تاریخ اور آخری کوئری کی ہدایات میں کوئی تنزل دیکھنے میں نہیں آتا۔
  • عدم توجہی کا نشیب / ٹرف آف ان اٹینشن (35%–65% گہرائی): 1M ٹوکنز پر ملٹی-نیڈل کاموں میں، بازیافت کی درستگی 40ویں اور 60ویں پرسنٹائل کے درمیان اوسطاً 7.4% سے 12.8% تک گر جاتی ہے۔
Retrieval
Accuracy
  100% | \                                         /
   95% |   \                                     /
   90% |     \                                 /
   85% |       \                             /
   80% |         \_______Trough (40-60%)____/
       +---------------------------------------------
       0%         25%         50%         75%        100%
                        Context Position

5. ملٹی ڈاکیومنٹ ریٹریول کا نقصان اور کونٹیکسٹ روٹ (Context Rot)

متعدد پیچیدہ دستاویزات پر کارروائی (ingest) کرتے وقت، طویل کونٹیکسٹ والے ماڈلز کونٹیکسٹ روٹ (Context Rot) کا شکار ہو جاتے ہیں—یہ دستاویزات کے باہمی اٹینشن کے تعارض (cross-document attention interference) کی وجہ سے استدلال کی درستی میں بتدریج پیدا ہونے والا زوال ہے۔

کونٹیکسٹ روٹ کی بنیادی وجوہات:

  1. اٹینشن کا انتشار (Attention Dispersion): معیاری softmax اٹینشن میں، جیسے جیسے تسلسل کی لمبائی (sequence length) $N$ قریباً $10^6$ تک پہنچتی ہے، اٹینشن ویٹ کی تقسیم $\text{softmax}(QK^T / \sqrt{d})$ تیزی سے منتشر (diffuse) ہوتی جاتی ہے۔ کم شدت والا اٹینشن شور ہزاروں غیر متعلقہ ٹوکنز میں جمع ہوتا چلا جاتا ہے۔
  2. اوورلیپنگ اینٹیٹیز کے ذریعے فریبِ خیال (Confabulation via Overlapping Entities): جب 15 مختلف فائلیں ملتے جلتے کلاس ناموں (مثلاً UserSessionController، AuthSessionManager، UserSessionHandler) کا حوالہ دیتی ہیں، تو کراس اٹینشن ویٹس تضادی تعارض (destructive interference) کا شکار ہو جاتے ہیں، جس سے ماڈل غیر متعلقہ اینٹیٹیز کے فیلڈز کو آپس میں خلط ملط کر دیتا ہے۔
  3. ہدایات کا انحراف (Instruction Drift): طویل سورس کوڈ پر مشتمل طویل پرامپٹس کے باعث ماڈلز بتدریج سسٹم پرامپٹ میں طے شدہ منفی پابندیوں (negative constraints) یا JSON فارمیٹنگ کے تقاضوں پر عمل پیرا رہنے کی صلاحیت کھونے لگتے ہیں۔

تدارک کی حکمت عملیاں:

  • درجہ بندی پر مبنی اینکرنگ (Hierarchical Anchoring): اہم سکیماز اور آؤٹ پٹ فارمیٹنگ کی پابندیوں کو پرامپٹ کے آغاز ($0\%$) اور اختتام ($100\%$) دونوں جگہوں پر رکھیں۔
  • دستاویز کی واضح حد بندی (Explicit Document Demarcation): واضح ٹوکن شمار اور فائل پاتھ کے ساتھ ساختیاتی XML یا Markdown ریپرز کا استعمال کریں:
<document index="4" path="src/auth/session.ts" tokens="1420">
// File contents...
</document>
  • انجیکشن سے قبل کونٹیکسٹ کی تراش خراش (Context Pruning Before Injection): لاک فائلز، بلڈ آرٹیفیکٹس اور وینڈر لائبریریوں کو فلٹر کر کے خارج کریں تاکہ مؤثر کونٹیکسٹ ماڈل کے اعلیٰ ترین معیار والے بینڈ (<512k tokens) کے اندر رہے۔

6. حقیقی دنیا میں ڈیولپر ٹیسٹنگ: ٹھوس CLI اور API کا نفاذ

پروڈکشن میں 1M کونٹیکسٹ ریکال کی جانچ کے لیے، ڈیولپرز ازسرنو قابلِ تخلیق مصنوعی NIAH ٹیسٹ Python اور ایسنکرونس کلائنٹ ڈرائیورز کا استعمال کرتے ہوئے انجام دے سکتے ہیں۔

1M ٹوکن ملٹی نیڈل بینچ مارک چلانا

import asyncio
import os
import random
from anthropic import AsyncAnthropic
from google import genai

async def run_1m_gemini_niah(haystack_path: str, needles: list[dict]):
    """
    Executes a multi-needle retrieval test against Gemini 2.5 Flash at 1M tokens.
    """
    client = genai.Client(api_key=os.environ["GEMINI_API_KEY"])
    
    with open(haystack_path, "r") as f:
        corpus = f.read()
        
    # Inject needles at deterministic depth intervals (e.g., 20%, 45%, 70%)
    tokens = corpus.split()
    total_len = len(tokens)
    
    for needle in needles:
        insert_idx = int(total_len * needle["depth"])
        tokens.insert(insert_idx, needle["content"])
        
    prompt_payload = " ".join(tokens)
    query = "List all secret access tokens and their corresponding department codes verbatim."
    
    response = await client.aio.models.generate_content(
        model="gemini-2.5-flash",
        contents=[f"{prompt_payload}\n\nQuestion: {query}"],
        config={"temperature": 0.0}
    )
    
    print("Gemini 2.5 Flash Retrieval Result:\n", response.text)

# CLI Invocation:
# python -m benchmarks.niah_runner --model gemini-2.5-flash --depths 0.2,0.5,0.8 --tokens 1000000

Code-SuperNova 1M کے ساتھ CLI کا تجزیہ

# Ingest entire 850k-token repository and audit for zero-day memory leaks
code-supernova audit \
  --repo-dir ./enterprise-monorepo \
  --context-window 1048576 \
  --needle-mode multi-ast \
  --temperature 0.1 \
  --output ./audit_report.json

7. معاشیات اور فی کوئری لاگت (1M ٹوکنز پر)

طویل کونٹیکسٹ آرکیٹیکچرز میں، مالی عمل پذیری کا دارومدار پرامپٹ کیشنگ (Prompt Caching) پر ہے۔ کیشنگ کے بغیر بھیجی جانے والی 1M ٹوکن کی کوئری بار بار چلنے والے ورک فلو کے لیے مالی طور پر ناقابل برداشت (cost-prohibitive) ہو جاتی ہے۔

لاگت کی تفصیل فی 1,000,000 ان پٹ ٹوکنز

+---------------------------------------------------------------------------------------------------+
|                             1M TOKEN QUERY INGESTION ECONOMICS                                    |
+---------------------------------------------------------------------------------------------------+
| Model                 | Uncached Single Query | Cached Query (90% Hit) | 100 Queries/Day (Cached) |
+-----------------------+-----------------------+------------------------+--------------------------+
| Gemini 2.5 Flash      | $0.30                 | $0.075                 | $7.50 / day              |
| Kimi K2.5             | $0.25                 | $0.100                 | $10.00 / day             |
| Code-SuperNova 1M     | $0.80                 | $0.160                 | $16.00 / day             |
| Claude 3.7 Sonnet     | $3.00                 | $0.300                 | $30.00 / day             |
+-----------------------+-----------------------+------------------------+--------------------------+

پرامپٹ کیشنگ بریک ایون کا تجزیہ:

  • پرامپٹ کیشنگ کے بغیر، Claude 3.7 Sonnet کے ساتھ یومیہ 50 مکمل ریپوزٹری کوئریز چلانے کی لاگت $150.00 روزانہ ($4,500 ماہانہ) بنتی ہے۔
  • Anthropic کے 90% پرامپٹ کیشنگ ڈسکاؤنٹ کے ساتھ، اسی کام کی لاگت $15.00 روزانہ ($450 ماہانہ) رہ جاتی ہے، جو فوری طور پر $4,050 ماہانہ کی بچت کو ظاہر کرتی ہے۔
  • لاگت کے حوالے سے حساس اور زیادہ تھرو پٹ والی ایکسٹریکشن پائپ لائنز کے لیے، Gemini 2.5 Flash ملکیت کی کم ترین مجموعی لاگت (فی 1M کیشڈ ٹوکنز $0.075) فراہم کرتا ہے جبکہ 148 TPS کی رفتار بھی برقرار رکھتا ہے۔

8. E-E-A-T آرکیٹیکچرل سفارشات اور حتمی فیصلہ

حتمی انتخابی میٹرکس:

  1. Gemini 2.5 Flash (2M) کا انتخاب کریں اگر آپ کی ترجیح زیادہ تھرو پٹ، ریئل ٹائم انٹرایکٹو لیٹنسی، وسیع ملٹی موڈل کونٹیکسٹ (ویڈیو، آڈیو، PDF کتب) اور انتہائی کم API قیمت ہے۔
  2. Code-SuperNova 1M کا انتخاب کریں اگر آپ کو مکمل ریپوزٹری کی خودکار سافٹ ویئر انجینئرنگ، ملٹی فائل ری فیکٹرنگ، اور پیچیدہ کمپائلر/AST گراف تجزیے کی ضرورت ہو جہاں کوڈ سنٹیکس کی درستگی ناگزیر ہو۔
  3. Claude 3.7 Sonnet (1M Extended) کا انتخاب کریں گہری فکری ترکیب (deep intellectual synthesis)، انتہائی حساس سیکیورٹی آڈٹ، قانونی معاہدوں کے جائزے، اور مبہم تقاضوں پر باریک بینانہ استدلال کے لیے۔
  4. Kimi K2.5 (2M) کا انتخاب کریں کم لاگت میں دو لسانی (انگریزی-چینی) طویل کونٹیکسٹ پروسیسنگ، ٹیبلر ڈیٹا تجزیے، اور بڑے پیمانے پر ٹیکسٹ کی تلخیص کے لیے۔

پروڈکشن کے لیے بہترین طریقہ کار:

  • کبھی بھی محض سنگل نیڈل بینچ مارکس پر انحصار نہ کریں: امید وار ماڈلز کو ہمیشہ ایسے ڈومین مخصوص ملٹی نیڈل ٹیسٹ سوٹس پر پرکھیں جو آپ کے ڈیٹا کے اصل سکیما کی عکاسی کرتے ہوں۔
  • پرامپٹ کیشنگ کی سخت حدود لاگو کریں: درخواستوں کو اس طرح ترتیب دیں کہ ساکت (static) 800k+ ٹوکن کا کونٹیکسٹ پریفکس تمام کوئریز میں یکساں رہے، تاکہ KV کیشے کے دوبارہ استعمال کو زیادہ سے زیادہ بنایا جا سکے۔
  • 1M ٹوکنز سے زیادہ کے تسلسل کے لیے ہائبرڈ RAG نافذ کریں: 2M سے زائد ٹوکنز والے نالج بیسز کے لیے، ایک ایسا ہائبرڈ آرکیٹیکچر جو ویکٹر/لیکسیکل ریٹریول (اوپری 200k ٹوکنز تک فلٹر کرنا) کو طویل کونٹیکسٹ والے LLM استدلال کے ساتھ یکجا کرتا ہے، درستی اور لیٹنسی دونوں کے لحاظ سے 2M ٹوکنز کے روایتی بروٹ فورس ادخال سے مستقل طور پر بہتر کارکردگی دکھاتا ہے۔
→ تمام مضامین
0 / 4
ابھی موازنہ کریں ←