Local AI & Hardware

স্থানীয়ভাবে চালানোর জন্য সেরা ওপেন সোর্স এলএলএম (২০২৬): ম্যাক ভি-র‍্যাম ও আরটিএক্স গাইড

2026-09-02·২২ মিনিট পাঠ মিনিট পড়া·LLMPodium Team

দ্রুত উত্তর: ২০২৬ সালে লোকাল ওপেন সোর্স এলএলএম নির্বাচন আপনার ইউনিফাইড ভি-র‍্যামের ওপর নির্ভর করে: 16GB Mac-এ Qwen 2.5 Coder 7B / 14B Q4_K_M (৪৫–৬৫ tps) সবচেয়ে উপযুক্ত। 32GB–64GB Mac/RTX-এ Qwen 2.5 Coder 32B Q4_K_M এবং Llama 3.3 70B IQ3_XXS শীর্ষস্থানীয় কোডিং ও যুক্তিশক্তি দেয়। 128GB ইউনিফাইড মেমোরি থাকলে DeepSeek R1 / V3 ও Llama 3.3 70B Q8 ক্লাউড খরচ ছাড়াই অনায়াসে চলে।

১. ভূমিকা: ২০২৬ সালে স্থানীয় ওপেন-ওয়েট মডেলের বিপ্লব

২০২৬ সালে নিজের হার্ডওয়্যারে ফ্রন্টিয়ার-লেভেলের লার্জ ল্যাঙ্গুয়েজ মডেল (LLM) চালানো আর কোনো শখের বিষয় নয়—এটি এখন এন্টারপ্রাইজ সফটওয়্যার ডেভেলপমেন্টের অন্যতম প্রধান ভিত্তি। সফটওয়্যার ইঞ্জিনিয়ার, ডেটা অ্যানালিস্ট এবং নিরাপত্তা সচেতন প্রতিষ্ঠানগুলো ক্লাউড নির্ভর বাণিজ্যিক এপিআই (OpenAI, Anthropic, Google) ছেড়ে সেলফ-হোস্টেড ওপেন মডেলে ঝুঁকছে।

এই পরিবর্তনের পেছনে তিনটি প্রধান কারণ রয়েছে:

  1. ডেটা সার্বভৌমত্ব ও কমপ্লায়েন্স: কঠোর ডেটা নীতিমালা (GDPR, HIPAA, SOC 2) অভ্যন্তরীণ কোডবেস এবং ক্লায়েন্ট তথ্য বাইরের কোনো সার্ভারে পাঠাতে নিষেধ করে।
  2. অ্যাপল সিলিকনের ইউনিফাইড মেমোরি আর্কিটেকচার (UMA): সাধারণ পিসিতে উচ্চগতির ভি-র‍্যাম নির্দিষ্ট গ্রাফিক্স কার্ডের মধ্যে সীমাবদ্ধ থাকে (যেমন কনজিউমার RTX 4090 / 5090-এ সর্বোচ্চ 24GB), সেখানে অ্যাপলের M-সিরিজ চিপগুলো (M3/M4 Pro, Max ও Ultra) ১২৮জিবি থেকে ১৯২জিবি পর্যন্ত উচ্চগতির LPDDR5X মেমোরি সরবরাহ করে যা জিপিইউ সরাসরি ৪০০ থেকে ৮০০+ জিবি/সেকেন্ড গতিতে ব্যবহার করতে পারে।
  3. উন্নত কোয়ান্টাইজেশন প্রযুক্তি (GGUF, EXL2, AWQ, MLX): আধুনিক k-quants এবং imatrix (IQ2/IQ3/IQ4) ব্যবহারের ফলে ৭০ বিলিয়ন প্যারামিটারের মডেল মাত্র ৩৮জিবি মেমোরিতে প্রায় নির্ভুল পারফরম্যান্সসহ চালানো সম্ভব।

এই নির্দেশিকায় আমরা অ্যাপল সিলিকন (16GB থেকে 128GB) এবং NVIDIA RTX গ্রাফিক্স কার্ডে শীর্ষ ওপেন মডেলগুলোর কার্যক্ষমতা, ভি-র‍্যামের হিসাব এবং সেটআপ প্রক্রিয়া পর্যালোচনা করেছি।

২. হার্ডওয়্যার তুলনা: অ্যাপল ইউনিফাইড মেমোরি বনাম এনভিডিয়া আরটিএক্স

উপযুক্ত মডেল এবং কোয়ান্টাইজেশন বাছাই করতে মেমোরি কাঠামোর পার্থক্য বোঝা জরুরি। 

+-----------------------------------------------------------------------------------------+
|                                  হার্ডওয়্যার মেমোরি তুলনা                               |
+---------------------------------------------------+-------------------------------------+
| Apple Silicon ইউনিফাইড মেমোরি (UMA)               | প্রচলিত পিসি (x86_64 + NVIDIA RTX)  |
+---------------------------------------------------+-------------------------------------+
| সিপিইউ ও জিপিইউ একই LPDDR5X মেমোরি ব্যবহার করে    | সিস্টেম র‍্যাম (DDR5) ও ভি-র‍্যাম আলাদা|
| ডেটা ট্রান্সফারের কোনো গতিসীমা নেই                | PCIe বাসের মাধ্যমে ডেটা স্থানান্তর  |
| মেমোরি সীমা: 16GB থেকে 192GB (M4 Ultra)           | ভি-র‍্যাম সীমা: 16GB–24GB (একক RTX)   |
| ব্যান্ডউইথ: 150 GB/s (Base) থেকে 800+ GB/s (Ultra)| ব্যান্ডউইথ: 1,008 GB/s (RTX 4090)    |
| Metal Performance Shaders ও MLX এক্সিলারেশন       | CUDA Cores, Tensor Cores ও FlashAttn|
| কম খরচে সর্বোচ্চ কনটেক্সট ধারণক্ষমতা              | সর্বোচ্চ গতিতে একক টোকেন জেনারেশন   |
+---------------------------------------------------+-------------------------------------+

লোকাল এলএলএম চালানোর ভি-র‍্যাম গণনার গাণিতিক সূত্র

সিস্টেম ক্র্যাশ বা সোয়াপিং ছাড়া মডেল রান করার জন্য ভি-র‍্যাম নির্ধারণের সূত্র:

$$\text{মোট ভি-র‍্যাম (GB)} = \left( \frac{\text{প্যারামিটার (বিলিয়ন)} \times \text{বিট প্রতি ওয়েট}}{8} \times 1.15 \right) + \text{KV ক্যাশ (GB)} + \text{ওএস ব্যবহার (GB)}$$

উপাদানগুলোর বিবরণ:

  • প্যারামিটার (বিলিয়ন): মডেল সাইজ (যেমন 7B, 14B, 32B, 70B)।
  • বিট প্রতি ওয়েট: FP16-এর জন্য ১৬, Q8_0-এর জন্য ৮, Q4_K_M-এর জন্য ৪.৫, IQ3_M-এর জন্য ৩.২।
  • ১.১৫ গুণক: অ্যাক্টিভেশন এবং বাফারের জন্য ১৫% অতিরিক্ত নিরাপত্তা মার্জিন।
  • KV ক্যাশের আকার: $\text{KV ক্যাশ} = 2 \times \text{লেয়ার} \times \text{হেড} \times \text{হেড ডাইমেনশন} \times \text{কনটেক্সট দৈর্ঘ্য} \times \text{বাইট/এলিমেন্ট}$। 70B মডেলে 8k কনটেক্সটে FP16 ক্যাশ নেয় ২.৫জিবি; ৪-বিট ক্যাশ ব্যবহার করলে তা ০.৭জিবিতে নেমে আসে।
  • ওএস ব্যবহার: ম্যাকওএস গ্রাফিক্স ও ব্যাকগ্রাউন্ড কাজের জন্য ৪জিবি–৬জিবি মেমোরি ধরে রাখে। হেডলেস লিনাক্সে প্রয়োজন মাত্র ১.২জিবি।

৩. তুলনামূলক বেঞ্চমার্ক মেট্রিক্স: লোকাল মডেল ২০২৬

আমরা কোডিং দক্ষতা, যুক্তিশক্তি এবং টোকেন জেনারেশনের গতির ভিত্তিতে মডেলগুলো পরীক্ষা করেছি।

পরীক্ষার হার্ডওয়্যার:

  • রিগ A (Apple Silicon Ultra): Mac Studio M3/M4 Ultra, 128GB মেমোরি, 800 GB/s ব্যান্ডউইথ।
  • রিগ B (Apple Silicon Max): MacBook Pro M4 Max, 48GB মেমোরি, 410 GB/s ব্যান্ডউইথ।
  • রিগ C (Apple Silicon Pro): MacBook Pro M4 Pro, 24GB মেমোরি, 273 GB/s ব্যান্ডউইথ।
  • রিগ D (Dual NVIDIA RTX): 2x NVIDIA GeForce RTX 4090 24GB (মোট 48GB ভি-র‍্যাম), AMD Ryzen 9 9950X।
মডেলের নাম আর্কিটেকচার ও প্যারামিটার কোয়ান্টাইজেশন ফরম্যাট ন্যূনতম ভি-র‍্যাম SWE-bench Verified LiveCodeBench v4 MMLU-Pro গতি (Mac Studio 128GB) গতি (Dual RTX 4090)
Qwen 2.5 Coder 32B ডেন্স / 32.5B Q4_K_M (19.8 GB) 24 GB UMA / VRAM 43.6% 51.2% 68.4% 38.2 tps 76.4 tps
Llama 3.3 70B Instruct ডেন্স / 70.6B Q4_K_M (42.5 GB) 48 GB UMA / Dual GPU 41.2% 48.7% 73.1% 18.5 tps 42.1 tps
DeepSeek R1 Distill 32B ডেন্স রিজনিং / 32B Q4_K_M (20.1 GB) 24 GB UMA / VRAM 42.8% 49.5% 71.8% 37.8 tps 74.2 tps
DeepSeek Coder V2.5 MoE (21B সক্রিয় / 236B) IQ3_XXS (88.4 GB) 96 GB–128 GB UMA 39.4% 46.8% 66.2% 14.2 tps PCIe বাস বাধা
Qwen 2.5 Coder 14B ডেন্স / 14.7B Q4_K_M (9.2 GB) 16 GB UMA / VRAM 33.8% 40.1% 58.6% 62.4 tps 112.5 tps
Qwen 2.5 Coder 7B ডেন্স / 7.6B Q8_0 (8.1 GB) 12 GB UMA / VRAM 27.4% 34.2% 51.3% 94.1 tps 168.0 tps
GLM-4 9B Chat ডেন্স / 9.2B Q4_K_M (5.8 GB) 10 GB UMA / VRAM 26.8% 32.7% 54.2% 86.5 tps 148.2 tps
Llama 3.2 3B ডেন্স / 3.2B FP16 (6.4 GB) 8 GB UMA / VRAM 16.2% 21.4% 39.8% 145.0 tps 240.0 tps

৪. হার্ডওয়্যার ভিত্তিক মডেল নির্বাচন নির্দেশিকা

স্তর ১: 16GB ইউনিফাইড মেমোরি (MacBook Air ও বেস Pro)

  • মডেলের জন্য ব্যবহারযোগ্য মেমোরি: ১১জিবি–১২জিবি।
  • সেরা মডেল: Qwen 2.5 Coder 7B (Q8_0 বা Q4_K_M) অথবা Qwen 2.5 Coder 14B (Q3_K_M / Q4_K_S)।
  • বিকল্প: ছোটখাটো কাজের জন্য Llama 3.2 3B (Q8_0)।
  • পারফরম্যান্স: ৫৫–৯০ টোকেন/সেকেন্ড। দ্রুত কোড অটো-কমপ্লিট ও ফাংশন রিফ্যাক্টরিংয়ের জন্য চমৎকার।

স্তর ২: 24GB থেকে 36GB ইউনিফাইড মেমোরি (M3/M4 Pro ও বেস Max, একক RTX 3090/4090)

  • মডেলের জন্য ব্যবহারযোগ্য মেমোরি: ১৮জিবি–২৮জিবি।
  • সেরা মডেল: Qwen 2.5 Coder 32B Instruct (Q4_K_M) — লোকাল কোডিংয়ের জন্য সেরা ভারসাম্যপূর্ণ মডেল।
  • বিকল্প: গভীর যুক্তিশক্তি ও অ্যালগরিদমের জন্য DeepSeek R1 Distill Qwen 32B (Q4_K_M)।
  • পারফরম্যান্স: ম্যাকে ২৮–৩৮ tps; RTX 4090-এ ৭০–৮০ tps। বহু ফাইলে ছড়ানো জটিল বাগ সমাধানের উপযুক্ত।

স্তর ৩: 48GB থেকে 64GB ইউনিফাইড মেমোরি (M3/M4 Max 48GB/64GB, Dual RTX 3090/4090)

  • মডেলের জন্য ব্যবহারযোগ্য মেমোরি: ৩৮জিবি–৫২জিবি।
  • সেরা মডেল: Llama 3.3 70B Instruct (Q4_K_M) এবং Qwen 2.5 Coder 32B (Q8_0)।
  • বিকল্প: বড় নথি বিশ্লেষণের জন্য Command R+ (Q3_K_S)।
  • পারফরম্যান্স: M4 Max-এ ১৬–২২ tps; দুটি RTX 4090-এ ৪০–৪৮ tps। বাণিজ্যিক ক্লাউড মডেলের সমতুল্য ক্ষমতা।

স্তর ৪: 96GB থেকে 128GB+ ইউনিফাইড মেমোরি (Mac Studio Ultra, Mac Pro)

  • মডেলের জন্য ব্যবহারযোগ্য মেমোরি: ৮০জিবি–১১০জিবি।
  • সেরা মডেল: Llama 3.3 70B Instruct (Q8_0), DeepSeek Coder V2.5 MoE (IQ3_M / Q4_K_M) ও DeepSeek R1 671B (IQ1_S / IQ2_XXS)।
  • পারফরম্যান্স: বিশাল MoE মডেলে ১৪–২০ tps। লোকাল মেশিনে ৬৪k+ কনটেক্সট অনায়াসে হ্যান্ডেল করা যায়।

৫. মূল মডেলগুলোর বিশেষত্ব ও পর্যালোচনা

৫.১ Qwen 2.5 Coder 32B: কোডিংয়ের সেরা হাতিয়ার

আলিबाबा কর্তৃক ৫.৫ ট্রিলিয়ন টোকেন এবং ৯২টি প্রোগ্রামিং ভাষার ওপর প্রশিক্ষিত।

  • আর্কিটেকচারাল সুবিধা: 1M RoPE বেস ফ্রিকোয়েন্সি ৩২k থেকে ১২৮k পর্যন্ত সঠিক ডেটা উত্তোলনে সক্ষম।
  • SWE-bench Verified: ৪৩.৬% (প্রাথমিক GPT-4 ও Claude 3 Sonnet-এর চেয়ে বেশি)।
  • টুল কলিং: JSON কাঠামোর নিখুঁত ব্যবহার যা Cline, Roo Code এবং OpenCode-এ অত্যন্ত নির্ভরযোগ্য।

৫.২ Llama 3.3 70B Instruct: মেটার ওপেন সোর্স ফ্ল্যাগশিপ

পূর্ববর্তী ৪০৫B মডেলের কার্যক্ষমতা অনেক কম হার্ডওয়্যারে প্রদান করে।

  • আর্কিটেকচারাল সুবিধা: ৮টি KV হেড সমন্বিত Grouped-Query Attention (GQA) ক্যাশ মেমোরি ৭৫% পর্যন্ত বাঁচায়।
  • MMLU-Pro: ৭৩.১%, সিস্টেম ইঞ্জিনিয়ারিং এবং জটিল যুক্তিতে শীর্ষস্থানীয়।
  • কোয়ান্টাইজেশন স্থায়িত্ব: Q4_K_M ফরম্যাটে মূল FP16-এর ৯৯.১% নির্ভুলতা বজায় রাখে।

৫.৩ DeepSeek R1 Distill Qwen 32B: ডেস্কটপে উন্নত রিজনিং

রিইনফোর্সমেন্ট লার্নিংয়ের মাধ্যমে প্রাপ্ত চিন্তন প্রক্রিয়া (...) এতে সুসংগঠিত।

  • শক্তি: অ্যাসিঙ্ক কোডের জটিল সমস্যা নির্ণয় এবং গাণিতিক বিশ্লেষণে অসাধারণ।
  • সতর্কতা: দীর্ঘ চিন্তন প্রক্রিয়ার কারণে বেশি টোকেন খরচ হয়; স্বাচ্ছন্দ্যে ব্যবহারের জন্য ৩০+ tps প্রয়োজন।

৬. লোকাল ইঞ্জিন: Ollama বনাম llama.cpp বনাম vLLM বনাম MLX

সঠিক সফটওয়্যার ইঞ্জিন নির্বাচন মেমোরি এবং গতির সর্বোচ্চ ব্যবহারে সহায়তা করে। 

+-----------------------------------------------------------------------------------------+
|                                    লোকাল রানটাইম তুলনা                                   |
+-------------------+-------------------+------------------------+------------------------+
| ইঞ্জিন নাম         | প্ল্যাটফর্ম       | প্রধান সুবিধা          | সেরা ব্যবহারের ক্ষেত্র |
+-------------------+-------------------+------------------------+------------------------+
| **Ollama**        | macOS, Linux, Win | সহজ সিএলআই ও রেস্ট এপিআই| ডেভেলপার ওয়ার্কস্টেশন  |
| **llama.cpp**     | ক্রস-প্ল্যাটফর্ম  | বিশুদ্ধ C++ ও GGUF     | কাস্টম টিউনিং          |
| **vLLM**          | Linux / NVIDIA    | PagedAttention ও উচ্চগতি| প্রোডাকশন সার্ভার      |
| **MLX / LM-Studio**| Apple Silicon Mac | অ্যাপল মেটাল এক্সিলারেশন| ম্যাক ওএস গ্রাফিকাল UI  |
+-------------------+-------------------+------------------------+------------------------+

বাস্তব প্রয়োগ: Ollama দিয়ে Qwen 2.5 Coder 32B সেটআপ

৩২k কনটেক্সট এবং ৪-বিট KV ক্যাশ কনফিগারেশন: 

# ১. ম্যাকওএস বা লিনাক্সে Ollama ইনস্টল করুন
curl -fsSL https://ollama.com/install.sh | sh

# ২. Qwen 2.5 Coder 32B নামিয়ে নিন
ollama run qwen2.5-coder:32b-instruct-q4_K_M

# ৩. ৩২k কনটেক্সটের জন্য Modelfile তৈরি করুন
cat << 'EOF' > Modelfile-Coder
FROM qwen2.5-coder:32b-instruct-q4_K_M
PARAMETER num_ctx 32768
PARAMETER num_predict 4096
PARAMETER stop "<|im_end|>"
PARAMETER temperature 0.2
PARAMETER top_p 0.95
EOF

ollama create local-coder-32k -f Modelfile-Coder
ollama serve

অ্যাপল মেটাল এক্সিলারেশন: Apple MLX দিয়ে রান করা

অ্যাপল চিপে সর্বোচ্চ গতি পাওয়ার উপায়: 

# MLX-LM ইনস্টল করুন
pip install mlx-lm

# Qwen 2.5 Coder 32B 4-bit চালান
python -m mlx_lm.generate   --model mlx-community/Qwen2.5-Coder-32B-Instruct-4bit   --prompt "Write a high-concurrency Rust actor pattern using Tokio."   --max-tokens 2048   --temp 0.2

৭. খরচ বিশ্লেষণ ও রিটার্ন অন ইনভেস্টমেন্ট (ROI)

একটি ম্যাক স্টুডিও ($৩,৯৯৯) বা আরটিএক্স পিসি ($৩,৫০০) কেনা কি নিয়মিত ক্লাউড এপিআই ব্যবহারের চেয়ে সাশ্রয়ী? 

+-----------------------------------------------------------------------------------------+
|                               ২৪ মাসের ক্রমপুঞ্জিত ব্যয়ের চিত্র                         |
|                                                                                         |
| $১৫,০০০ |                                                ক্লাউড এপিআই (ভারী ব্যবহার)     |
|         |                                                .................../           |
| $১০,০০০ |                                  ............./                               |
|         |                    ............./                                             |
|  $৫,০০০ |      ............/                      লোকাল ম্যাক স্টুডিও M4 Ultra ($৩,৯৯৯) |
|         | ----/------------------------------------------------------------------------ |
|      $০ +------------------------------------------------------------------------------ |
|         মাস ০              মাস ৬              মাস ১২             মাস ১৮        মাস ২৪   |
+-----------------------------------------------------------------------------------------+
ব্যবহারকারীর ধরন মাসিক টোকেন খরচ ক্লাউড এপিআই খরচ (Sonnet/o3) লোকাল ম্যাক স্টুডিও ব্যয় ব্যয় উশুলের সময়কাল (ROI)
একক ডেভেলপার ১৫ মিলিয়ন টোকেন/মাস $৮৫ / মাস $৩,৯৯৯ শুরুতে + $৮/মাস বিদ্যুৎ ৪৮ মাস
ছোট দল (৫ জন) ১২০ মিলিয়ন টোকেন/মাস $৬৮০ / মাস $৩,৯৯৯ শুরুতে + $১৮/মাস বিদ্যুৎ ৫.৮ মাস
আইটি টিম (২০ জন) ৮৫০ মিলিয়ন টোকেন/মাস $৪,৮৫০ / মাস দুটি ম্যাক স্টুডিও ক্লাস্টার ($৭,৯৯৮) ১.৭ মাস

সিদ্ধান্ত: অল্প ব্যবহারের জন্য ক্লাউড এপিআই সাশ্রয়ী। তবে যারা নিয়মিত স্বয়ংক্রিয় কোডিং এজেন্ট (Cline, Roo Code বা Aider) ব্যবহার করেন, তাদের জন্য লোকাল হার্ডওয়্যারের খরচ ৬ মাসের মধ্যেই উসুল হয়ে যায় এবং তথ্যের শতভাগ নিরাপত্তা নিশ্চিত থাকে।

৮. এন্টারপ্রাইজ বাস্তবায়ন পরামর্শ

  1. ১৬জিবি ল্যাপটপের ক্ষেত্রে: Qwen 2.5 Coder 14B Q4_K_M অথবা 7B Q8_0 ব্যবহার করুন। ৩২B মডেল চালালে সোয়াপিংয়ের কারণে স্পিড কমে যাবে এবং এসএসডি ক্ষতিগ্রস্ত হতে পারে।
  2. ৩২জিবি–৪৮জিবি মেশিনের ক্ষেত্রে: নিয়মিত কাজের জন্য Qwen 2.5 Coder 32B Instruct (Q4_K_M) এবং আর্কিটেকচারাল পরিকল্পনার জন্য Llama 3.3 70B (IQ3_XXS) ব্যবহার করুন।
  3. KV ক্যাশ ৪-বিট করুন: llama.cpp ও Ollama-তে q4_0 এনাবল করে ৩জিবি থেকে ৮জিবি মেমোরি বাঁচান।
  4. এজেন্ট টুল সংযুক্তিকরণ: Ollama এন্ডপয়েন্ট (http://localhost:11434/v1) সরাসরি ভিএস কোড প্লাগইনে ওপেনএআই প্রোভাইডার হিসেবে ব্যবহার করে সম্পূর্ণ অফলাইনে কাজ করুন।

৯. সচরাচর জিজ্ঞাসিত প্রশ্নাবলী (FAQ)

অ্যাপল সিলিকন M4 Pro চিপে কি Llama 3.3 70B চলবে?

২৪জিবি বা ৩৬জিবি M4 Pro-তে ৭০B মডেল স্মুথলি চালানো সম্ভব নয়। এতে ডিস্ক সোয়াপিং হবে এবং স্পিড ১ tps-এর নিচে নেমে যাবে। Q4_K_M-এ ১৮–২২ tps গতি পেতে অন্তত ৪৮জিবি থেকে ৬৪জিবি ইউনিফাইড মেমোরি প্রয়োজন।

৭০B+ মডেলের ক্ষেত্রে অ্যাপল ইউনিফাইড মেমোরি কেন এনভিডিয়া থেকে ভালো?

মেমোরি ক্ষমতা এবং খরচের পার্থক্যের কারণে। ৭০B Q8 মডেল চালাতে ৬০জিবি থেকে ১২০জিবি মেমোরি দরকার হয়, যা পিসিতে পেতে একাধিক দামি এন্টারপ্রাইজ কার্ড (A100/H100) লাগে যার দাম $৬,০০০ থেকে $৩০,০০০ ছাড়িয়ে যায়। ম্যাক স্টুডিওতে এটি $৪,০০০-এর কমেই সম্ভব।

লোকাল কোডিং এজেন্টের জন্য সেরা মডেল কোনটি?

Qwen 2.5 Coder 32B Instruct সেরা মডেল। এটি SWE-bench Verified-এ ৪৩.৬% স্কোর করেছে, নিখুঁত JSON আউটপুট দেয় এবং Q4_K_M ফরম্যাটে মাত্র ২৪জিবি মেমোরিতে আরামসে কাজ করে।

← সব নিবন্ধ
0 / 4
এখনই তুলনা করুন →