Local AI & Hardware

लोकल रनिंग के लिए सर्वश्रेष्ठ ओपन सोर्स LLMs (2026): Mac VRAM और RTX गाइड

2026-09-02·22 मिनट पढ़ें मिनट पठन·LLMPodium Team

त्वरित उत्तर: 2026 में लोकल ओपन-सोर्स LLM का चयन आपकी यूनिफाइड VRAM पर निर्भर करता है: 16GB Mac पर Qwen 2.5 Coder 7B / 14B Q4_K_M (45–65 tps) सबसे बेहतर हैं। 32GB–64GB Mac/RTX पर Qwen 2.5 Coder 32B Q4_K_M और Llama 3.3 70B IQ3_XXS बेहतरीन कोडिंग और रीज़निंग प्रदान करते हैं। 128GB यूनिफाइड मेमोरी वाले Mac Studio पर DeepSeek R1 / V3 और Llama 3.3 70B Q8 बिना किसी क्लाउड खर्च के चलते हैं।

1. प्रस्तावना: 2026 में लोकल ओपन-वेट मॉडल्स की क्रांति

2026 में, अपने स्वयं के हार्डवेयर पर फ्रंटियर-ग्रेड लार्ज लैंग्वेज मॉडल्स (LLMs) को लोकल रूप से चलाना केवल उत्साही डेवलपर्स का शौक नहीं रहा—यह उद्यमों के लिए एक रणनीतिक आवश्यकता बन चुका है। सॉफ्टवेयर इंजीनियर्स, वित्तीय विश्लेषक और सख्त गोपनीयता वाली संस्थाएं क्लाउड-आधारित कमर्शियल APIs (OpenAI, Anthropic, Google) को छोड़कर सेल्फ-होस्टेड ओपन-वेट मॉडल्स अपना रही हैं।

इस बदलाव के तीन प्रमुख कारण हैं:

  1. डेटा संप्रभुता और अनुपालन: कड़े नियम (GDPR, HIPAA, SOC 2 Type II) आंतरिक सोर्स कोड, तकनीकी दस्तावेज़ों और ग्राहक डेटा को बाहरी क्लाउड सर्वर पर भेजने से रोकते हैं।
  2. Apple Silicon की यूनिफाइड मेमोरी आर्किटेक्चर (UMA): पारंपरिक PCs में हाई-स्पीड VRAM डेडिकेटेड PCIe ग्राफिक्स कार्ड्स (कंज्यूमर RTX 4090 / 5090 पर अधिकतम 24GB) तक सीमित होती है, जबकि Apple M-सीरीज चिप्स (M3/M4 Pro, Max और Ultra) में 128GB से 192GB तक की LPDDR5X यूनिफाइड मेमोरी होती है, जिसे GPU 400 से 800+ GB/s की बैंडविड्थ के साथ सीधे एक्सेस कर सकता है।
  3. उन्नत क्वांटाइजेशन तकनीक (GGUF, EXL2, AWQ, MLX): आधुनिक k-quants और imatrix (IQ2/IQ3/IQ4) की मदद से 70-बिलियन पैरामीटर वाले मॉडल 38GB रैम के भीतर अत्यंत न्यूनतम परप्लेक्सिटी लॉस (<0.15 अंक) के साथ चल सकते हैं।

इस तकनीकी गाइड में हमने Apple Silicon (16GB से 128GB) और NVIDIA RTX GPUs पर शीर्ष ओपन मॉडल्स की तुलना की है, जिसमें VRAM कैलकुलेशन फॉर्मूले, वास्तविक गति (tps, TTFT), SWE-bench और LiveCodeBench के परिणाम शामिल हैं।

2. हार्डवेयर तुलना: Apple यूनिफाइड मेमोरी बनाम डेडिकेटेड NVIDIA RTX

हार्डवेयर मेमोरी आर्किटेक्चर को समझना सही मॉडल और क्वांटाइजेशन स्तर चुनने के लिए अनिवार्य है। 

+-----------------------------------------------------------------------------------------+
|                                हार्डवेयर मेमोरी टोपोलॉजी                                  |
+---------------------------------------------------+-------------------------------------+
| Apple Silicon यूनिफाइड मेमोरी (UMA)                | पारंपरिक PC (x86_64 + NVIDIA RTX)   |
+---------------------------------------------------+-------------------------------------+
| CPU और GPU साझा LPDDR5X मेमोरी पूल उपयोग करते हैं | सिस्टम रैम (DDR5) और VRAM अलग होती  |
| कोई PCIe डेटा ट्रांसफर रुकावट नहीं होती           | PCIe बस ट्रांसफर (32–64 GB/s)       |
| मेमोरी सीमा: 16GB से 192GB (M4 Ultra)             | VRAM सीमा: 16GB–24GB (एकल RTX कार्ड)|
| बैंडविड्थ: 150 GB/s (Base) से 800+ GB/s (Ultra)   | बैंडविड्थ: 1,008 GB/s (RTX 4090)    |
| Metal Performance Shaders और MLX एक्सेलेरेशन      | CUDA Cores, Tensor Cores & FlashAttn|
| प्रति डॉलर अधिकतम संदर्भ (Context) क्षमता         | उच्चतम पीक टोकन जेनरेशन गति (TPS)   |
+---------------------------------------------------+-------------------------------------+

लोकल LLM के लिए VRAM गणना का गणितीय सूत्र

बिना क्रैश या डिस्क स्वैपिंग के मॉडल चलाने के लिए आवश्यक VRAM का सही अनुमान इस फॉर्मूले से लगाया जाता है:

$$\text{कुल VRAM (GB)} = \left( \frac{\text{पैरामीटर्स (अरब)} \times \text{बिट्स प्रति वेट}}{8} \times 1.15 \right) + \text{KV कैश (GB)} + \text{OS ओवरहेड (GB)}$$

घटकों का विवरण:

  • पैरामीटर्स (अरब): मॉडल का आकार (जैसे 7B, 14B, 32B, 70B)।
  • बिट्स प्रति वेट: FP16 के लिए 16, Q8_0 के लिए 8, Q4_K_M के लिए 4.5, IQ3_M के लिए 3.2।
  • 1.15 गुणक: एक्टिवेशन और टेन्सर बफर्स के लिए 15% का सुरक्षा मार्जिन।
  • KV कैश आकार: $\text{KV कैश} = 2 \times \text{लेयर्स} \times \text{हेड्स} \times \text{हेड डाइमेंशन} \times \text{कॉन्टेक्स्ट लेंथ} \times \text{बाइट्स प्रति एलिमेंट}$। 70B मॉडल पर 8k कॉन्टेक्स्ट के लिए FP16 KV कैश लगभग 2.5GB लेता है; 4-बिट KV कैश (--cache-type-k q4_0 --cache-type-v q4_0) इसे घटाकर 0.7GB कर देता है।
  • OS ओवरहेड: macOS सिस्टम सेवाओं और डिस्प्ले के लिए 4GB–6GB आरक्षित रखता है। हेडलेस लिनक्स लगभग 1.2GB लेता है।

3. बेंचमार्क तुलना मैट्रिक्स: प्रमुख लोकल मॉडल्स (2026)

हमने कोडिंग, लॉजिकल रीज़निंग, टूल कॉलिंग और थ्रूपुट गति में शीर्ष ओपन-वेट मॉडल्स का व्यापक परीक्षण किया।

परीक्षण हार्डवेयर:

  • रिग A (Apple Silicon Ultra): Mac Studio M3/M4 Ultra, 128GB यूनिफाइड मेमोरी, 800 GB/s बैंडविड्थ।
  • रिग B (Apple Silicon Max): MacBook Pro M4 Max, 48GB यूनिफाइड मेमोरी, 410 GB/s बैंडविड्थ।
  • रिग C (Apple Silicon Pro): MacBook Pro M4 Pro, 24GB यूनिफाइड मेमोरी, 273 GB/s बैंडविड्थ।
  • रिग D (Dual NVIDIA RTX): 2x NVIDIA GeForce RTX 4090 24GB (कुल 48GB VRAM), AMD Ryzen 9 9950X, 64GB DDR5।
मॉडल का नाम आर्किटेक्चर और पैरामीटर्स क्वांटाइजेशन फॉर्मेट न्यूनतम आवश्यक VRAM SWE-bench Verified LiveCodeBench v4 MMLU-Pro गति (Mac Studio 128GB) गति (Dual RTX 4090)
Qwen 2.5 Coder 32B डेंस / 32.5B Q4_K_M (19.8 GB) 24 GB UMA / VRAM 43.6% 51.2% 68.4% 38.2 tps 76.4 tps
Llama 3.3 70B Instruct डेंस / 70.6B Q4_K_M (42.5 GB) 48 GB UMA / 2x GPU 41.2% 48.7% 73.1% 18.5 tps 42.1 tps
DeepSeek R1 Distill 32B डेंस रीज़निंग / 32B Q4_K_M (20.1 GB) 24 GB UMA / VRAM 42.8% 49.5% 71.8% 37.8 tps 74.2 tps
DeepSeek Coder V2.5 MoE (21B सक्रिय / 236B) IQ3_XXS (88.4 GB) 96 GB–128 GB UMA 39.4% 46.8% 66.2% 14.2 tps PCIe बस सीमा
Qwen 2.5 Coder 14B डेंस / 14.7B Q4_K_M (9.2 GB) 16 GB UMA / VRAM 33.8% 40.1% 58.6% 62.4 tps 112.5 tps
Qwen 2.5 Coder 7B डेंस / 7.6B Q8_0 (8.1 GB) 12 GB UMA / VRAM 27.4% 34.2% 51.3% 94.1 tps 168.0 tps
GLM-4 9B Chat डेंस / 9.2B Q4_K_M (5.8 GB) 10 GB UMA / VRAM 26.8% 32.7% 54.2% 86.5 tps 148.2 tps
Llama 3.2 3B डेंस / 3.2B FP16 (6.4 GB) 8 GB UMA / VRAM 16.2% 21.4% 39.8% 145.0 tps 240.0 tps

4. हार्डवेयर अनुसार चयन गाइड: आपके सिस्टम के लिए कौन सा मॉडल सही है?

स्तर 1: 16GB यूनिफाइड मेमोरी (MacBook Air और बेस M2/M3/M4 Pro)

  • मॉडल के लिए उपलब्ध VRAM: 11GB–12GB (macOS लगभग 4GB आरक्षित रखता है)।
  • सर्वश्रेष्ठ मॉडल: Qwen 2.5 Coder 7B (Q8_0 या Q4_K_M) या Qwen 2.5 Coder 14B (Q3_K_M / Q4_K_S)।
  • तेज सहायक मॉडल: त्वरित टास्क और गिट कमिट मैसेज के लिए Llama 3.2 3B (Q8_0)।
  • प्रदर्शन: 55–90 टोकन/सेकंड। इनलाइन कोड ऑटोकम्प्लीशन और फंक्शन रिफैक्टरिंग के लिए उत्कृष्ट।

स्तर 2: 24GB से 36GB यूनिफाइड मेमोरी (M3/M4 Pro, बेस Max, सिंगल RTX 3090/4090)

  • मॉडल के लिए उपलब्ध VRAM: 18GB–28GB।
  • सर्वश्रेष्ठ मॉडल: Qwen 2.5 Coder 32B Instruct (Q4_K_M) — लोकल कोडिंग का सबसे संतुलित मॉडल।
  • रीज़निंग मॉडल: जटिल एल्गोरिदम विश्लेषण और आर्किटेक्चर के लिए DeepSeek R1 Distill Qwen 32B (Q4_K_M)।
  • प्रदर्शन: Apple Silicon पर 28–38 tps; RTX 4090 पर 70–80 tps। मल्टी-फाइल बग्स को ठीक करने में सक्षम।

स्तर 3: 48GB से 64GB यूनिफाइड मेमोरी (M3/M4 Max 48GB/64GB, Dual RTX 3090/4090)

  • मॉडल के लिए उपलब्ध VRAM: 38GB–52GB।
  • सर्वश्रेष्ठ मॉडल: Llama 3.3 70B Instruct (Q4_K_M) और Qwen 2.5 Coder 32B (Q8_0)।
  • दस्तावेज़ विश्लेषण: 128k बड़े संदर्भ के लिए Command R+ (Q3_K_S)।
  • प्रदर्शन: M4 Max पर 16–22 tps; दोहरी RTX 4090 पर 40–48 tps। कमर्शियल क्लाउड मॉडल्स के स्तर की रीज़निंग।

स्तर 4: 96GB से 128GB+ यूनिफाइड मेमोरी (Mac Studio M2/M3/M4 Ultra, Mac Pro)

  • मॉडल के लिए उपलब्ध VRAM: 80GB–110GB।
  • सर्वश्रेष्ठ मॉडल: Llama 3.3 70B Instruct (Q8_0), DeepSeek Coder V2.5 MoE (IQ3_M / Q4_K_M) और DeepSeek R1 671B (IQ1_S / IQ2_XXS)।
  • प्रदर्शन: भारी MoE आर्किटेक्चर पर 14–20 tps। 64k+ संदर्भ को बिना मेमोरी आउट ऑफ बाउंड के संभालने में सक्षम।

5. प्रमुख मॉडल्स का विस्तृत विश्लेषण

5.1 Qwen 2.5 Coder 32B: लोकल कोडिंग का स्वर्ण मानक

अलीबाबा द्वारा 5.5 ट्रिलियन टोकन और 92 प्रोग्रामिंग भाषाओं पर प्रशिक्षित यह मॉडल पेड सब्सक्रिप्शन की आवश्यकता खत्म कर देता है।

  • आर्किटेक्चर लाभ: 1M पर ट्यून की गई RoPE बेस फ्रीक्वेंसी 32k से 128k कॉन्टेक्स्ट में सटीक रीट्रिवल सुनिश्चित करती है।
  • SWE-bench Verified: 43.6% (मूल GPT-4 और Claude 3 Sonnet से अधिक)।
  • एजेंट अनुकूलता: सख्त JSON फॉर्मेट अनुपालन और Cline, Roo Code, OpenCode में टूल कॉलिंग का उत्कृष्ट समर्थन।

5.2 Llama 3.3 70B Instruct: Meta का प्रमुख ओपन-वेट मॉडल

मेटा की यह रिलीज पूर्ववर्ती 405B मॉडल की क्षमता बहुत कम हार्डवेयर आवश्यकताओं में प्रदान करती है।

  • आर्किटेक्चर लाभ: 8 KV हेड्स वाला Grouped-Query Attention (GQA) कैश मेमोरी को 75% तक कम कर देता है।
  • MMLU-Pro: 73.1%, सिस्टम इंजीनियरिंग, लॉजिक और कानून में Claude 3.5 Sonnet के समकक्ष।
  • क्वांटाइजेशन स्थिरता: Q4_K_M (42.5GB) पर मूल FP16 का 99.1% प्रदर्शन बरकरार रखता है।

5.3 DeepSeek R1 Distill Qwen 32B: डेस्कटॉप पर रीज़निंग

रीइन्फोर्समेंट लर्निंग द्वारा विकसित थॉट प्रोसेस (...) को सघन वेट्स में समाहित किया गया है।

  • प्रमुख क्षमता: जटिल मल्टी-थ्रेडेड बग्स और क्रिप्टोग्राफिक वेरिफिकेशन में माहिर।
  • विचारणीय बिंदु: आंतरिक सोच के कारण अधिक टोकन उत्पन्न होते हैं; सुचारू उपयोग के लिए 30+ tps की आवश्यकता होती है।

6. इंफ्रेंस इंजन तुलना: Ollama बनाम llama.cpp बनाम vLLM बनाम MLX

सही इंजन का चयन आउटपुट गति और सिस्टम दक्षता को सीधे प्रभावित करता है। 

+-----------------------------------------------------------------------------------------+
|                                    इंफ्रेंस इंजन तुलना                                   |
+-------------------+-------------------+------------------------+------------------------+
| इंजन नाम          | मुख्य प्लेटफॉर्म  | प्रमुख ताकत            | सर्वश्रेष्ठ उपयोग     |
+-------------------+-------------------+------------------------+------------------------+
| **Ollama**        | macOS, Linux, Win | आसान CLI और REST API   | डेवलपर वर्कस्टेशन      |
| **llama.cpp**     | क्रॉस-प्लेटफॉर्म  | शुद्ध C++ गति और GGUF  | अधिकतम क्वांटाइजेशन    |
| **vLLM**          | Linux / NVIDIA    | PagedAttention और TPS  | उच्च-लोड सर्वर इन्फ्रा |
| **MLX / LM-Studio**| Apple Silicon Mac | Metal नेटिव एक्सेलेरेशन| macOS GUI और Apple UMA |
+-------------------+-------------------+------------------------+------------------------+

प्रायोगिक सेटअप: Ollama के माध्यम से Qwen 2.5 Coder 32B चलाना

32k संदर्भ विंडो और 4-बिट KV कैश के साथ कॉन्फ़िगरेशन: 

# 1. macOS या Linux पर Ollama इंस्टॉल करें
curl -fsSL https://ollama.com/install.sh | sh

# 2. Qwen 2.5 Coder 32B डाउनलोड करें
ollama run qwen2.5-coder:32b-instruct-q4_K_M

# 3. 32k संदर्भ के लिए Modelfile बनाएं
cat << 'EOF' > Modelfile-Coder
FROM qwen2.5-coder:32b-instruct-q4_K_M
PARAMETER num_ctx 32768
PARAMETER num_predict 4096
PARAMETER stop "<|im_end|>"
PARAMETER temperature 0.2
PARAMETER top_p 0.95
EOF

ollama create local-coder-32k -f Modelfile-Coder
ollama serve

Apple Metal गति संवर्धन: Apple MLX द्वारा निष्पादन

Apple Silicon पर अधिकतम थ्रूपुट के लिए MLX का उपयोग करें: 

# MLX-LM इंस्टॉल करें
pip install mlx-lm

# Qwen 2.5 Coder 32B 4-bit को नेटिव चलाएं
python -m mlx_lm.generate   --model mlx-community/Qwen2.5-Coder-32B-Instruct-4bit   --prompt "Write a high-concurrency Rust actor pattern using Tokio."   --max-tokens 2048   --temp 0.2

7. लागत विश्लेषण और ROI: लोकल हार्डवेयर बनाम क्लाउड APIs

क्या $3,999 का Mac Studio या $3,500 का Dual RTX 4090 सिस्टम खरीदना क्लाउड APIs पर टोकन खर्च करने से अधिक किफायती है? 

+-----------------------------------------------------------------------------------------+
|                                24 महीनों में संचयी लागत                                 |
|                                                                                         |
| $15,000 |                                                क्लाउड APIs (एजेंट उपयोग)      |
|         |                                                .................../           |
| $10,000 |                                  ............./                               |
|         |                    ............./                                             |
|  $5,000 |      ............/                      लोकल Mac Studio M4 Ultra ($3,999)     |
|         | ----/------------------------------------------------------------------------ |
|      $0 +------------------------------------------------------------------------------ |
|         महीना 0            महीना 6            महीना 12           महीना 18      महीना 24 |
+-----------------------------------------------------------------------------------------+
टीम प्रोफाइल मासिक टोकन खपत क्लाउड API लागत (Sonnet/o3) लोकल Mac Studio लागत लागत वसूली समय (ROI)
एकल डेवलपर 15M टोकन/माह $85 / माह $3,999 अग्रिम + $8/माह बिजली 48 महीने
छोटा दल (5 इंजीनियर्स) 120M टोकन/माह $680 / माह $3,999 अग्रिम + $18/माह बिजली 5.8 महीने
आईटी विभाग (20 इंजीनियर्स) 850M टोकन/माह $4,850 / माह 2x Mac Studio क्लस्टर ($7,998) 1.7 महीने

आर्थिक निष्कर्ष: कभी-कभार उपयोग के लिए क्लाउड API बेहतर हैं। लेकिन स्वायत्त कोडिंग एजेंटों (Cline, Roo Code, Aider आदि, जो प्रति टास्क 500k-2M टोकन खर्च करते हैं) का नियमित उपयोग करने वाली टीमों के लिए स्थानीय हार्डवेयर 6 महीने के भीतर लागत वसूल कर देता है और पूर्ण डेटा सुरक्षा प्रदान करता है।

8. उद्यमों के लिए सर्वोत्तम अभ्यास

  1. 16GB लैपटॉप के लिए: Qwen 2.5 Coder 14B Q4_K_M या 7B Q8_0 का चयन करें। 16GB पर 32B मॉडल न चलाएं, इससे डिस्क स्वैपिंग के कारण गति 2 tps से नीचे गिर जाती है।
  2. 32GB–48GB सिस्टम के लिए: कोडिंग के लिए Qwen 2.5 Coder 32B Instruct (Q4_K_M) और आर्किटेक्चरल प्लानिंग के लिए Llama 3.3 70B (IQ3_XXS) का उपयोग करें।
  3. KV कैश को 4-बिट करें: llama.cpp और Ollama में q4_0 कैश चालू करके 32k+ संदर्भ में 3GB से 8GB VRAM बचाएं।
  4. एजेंट टूलचेन एकीकरण: पूर्णतः निजी वातावरण के लिए स्थानीय Ollama एंडपॉइंट (http://localhost:11434/v1) को VS Code एक्सटेंशन से कनेक्ट करें।

9. अक्सर पूछे जाने वाले प्रश्न (FAQ)

क्या Apple Silicon M4 Pro पर Llama 3.3 70B चल सकता है?

24GB या 36GB M4 Pro पर 70B मॉडल बिना अत्यधिक क्वांटाइजेशन (IQ2_XXS) और भारी डिस्क स्वैप के नहीं चल सकता (<1 tps)। Q4_K_M में 18–22 tps की व्यावहारिक गति के लिए कम से कम 48GB से 64GB यूनिफाइड मेमोरी की आवश्यकता होती है।

70B+ मॉडल्स के लिए Apple यूनिफाइड मेमोरी NVIDIA से बेहतर क्यों मानी जाती है?

क्षमता और लागत दक्षता के कारण। 70B Q8 या बड़े MoE मॉडल चलाने के लिए 60GB-120GB VRAM की आवश्यकता होती है। PC पर इसके लिए कई एंटरप्राइज NVIDIA GPUs (A100/H100) की जरूरत होती है जिसकी लागत $6,000 से $30,000 से अधिक होती है। 128GB का Mac Studio यह काम $4,000 से कम में शांत और ऊर्जा-कुशल तरीके से करता है।

स्थानीय कोडिंग एजेंटों के लिए सर्वश्रेष्ठ मॉडल कौन सा है?

Qwen 2.5 Coder 32B Instruct सर्वश्रेष्ठ विकल्प है। यह SWE-bench Verified पर 43.6% स्कोर करता है, JSON टूल कॉलिंग में त्रुटिहीन है और Q4_K_M क्वांटाइजेशन में 24GB VRAM में सहजता से काम करता है।

← सभी लेख
0 / 4
अभी तुलना करें →