সাধারণ প্রশ্ন
LLMPodium-এর র্যাংকিং, পদ্ধতি ও ডেটা সম্পর্কে যা যা জানা দরকার।
প্রতিটি মডেল Podium Score (০–১০০) পায়: ৩৫% অ্যারেনা Elo, ৩০% বেঞ্চমার্ক গড়, ২০% Artificial Analysis-এর Intelligence Index এবং ১৫% LLM Stats — পাঁচটি স্বাধীন লিডারবোর্ড থেকে স্বাভাবিকৃত ও একত্রিত।
আমরা পাঁচটি উৎস প্রতি সপ্তাহে সিঙ্ক করি। বড় মডেল প্রকাশ তাৎক্ষণিক আপডেট করে। প্রতিটি পাতায় সর্বশেষ আপডেটের তারিখ দেখানো হয়।
আমরা পাঁচটি পাবলিক লিডারবোর্ড সংকলন করি: Arena.ai (অ্যারেনা Elo), Artificial Analysis (Intelligence Index ও পারফরম্যান্স), LLM Stats, Vellum ও LLMBase। দাম প্রদানকারীর ডকুমেন্টেশন থেকে।
Podium Score চারটি স্বাভাবিকৃত সংকেতের ভারিত গড়: অ্যারেনা Elo (৩৫%), বেঞ্চমার্ক গড় (৩০%), Intelligence Index (২০%) ও LLM Stats (১৫%)। অনুপস্থিত সংকেত অন্য উৎসে পুনর্বণ্টন হয়। বিস্তারিত পদ্ধতি পাতায়।
সব মডেল প্রতিটি বেঞ্চমার্কে পরীক্ষিত নয় — কিছুতে বিশেষ ক্ষমতা লাগে (যেমন MMMU-র জন্য ভিশন) বা নতুন মডেলে এখনো চালানো হয়নি। অনুপলব্ধ ডেটার জন্য আমরা “—” দেখাই।
হ্যাঁ! তুলনা পাতায় যান, ৪টি পর্যন্ত মডেল বেছে নিন এবং সব মেট্রিকের বিস্তারিত তুলনা দেখুন: বেঞ্চমার্ক, দাম, গতি ও লেটেন্সি।
অ্যারেনা Elo মানুষের ভোটের ভিত্তিতে পছন্দের রেটিং: দুটি বেনামী মডেল একই প্রম্পটের উত্তর দেয়, মানুষ ভোট দেয়, আর ভোট কনফিডেন্স ইন্টারভালসহ Elo রেটিং আপডেট করে। এটি আমাদের র্যাংকিংয়ের সবচেয়ে বড় সংকেত।
আমরা প্রতি মিলিয়ন ইনপুট ও আউটপুট টোকেনের দাম দেখাই, সরাসরি প্রতিটি প্রদানকারীর অফিসিয়াল API মূল্য পাতা থেকে। মূল্য বিভাগ দুটি দাম একত্রিত করে — যত কম তত ভালো।
অবশ্যই। আমরা প্রোপ্রাইটারি ও ওপেন-ওয়েট দুটোই ট্র্যাক করি: DeepSeek, Alibaba (Qwen), Moonshot AI (Kimi), Z.ai (GLM), MiniMax, Baidu ও অন্যান্য। ওপেন-ওয়েট মডেলের নিজস্ব লিডারবোর্ড /leaderboard/open-এ।
TTFT প্রম্পট পাঠানো থেকে প্রথম উত্তর টোকেন পাওয়া পর্যন্ত সময় মাপে। যত কম তত ভালো। ইন্টারঅ্যাকটিভ অ্যাপের জন্য এটি একটি মুখ্য মেট্রিক যেখানে সাড়াদান ক্ষমতা গুরুত্বপূর্ণ।
লিডারবোর্ড ডেটা পাবলিক বেঞ্চমার্ক থেকে। ব্যবহারের শর্তের জন্য প্রতিটি বেঞ্চমার্কের লাইসেন্স দেখুন। মেশিন-পাঠযোগ্য সারাংশ /llms.txt-এ পাওয়া যায়।
যখন কোনো প্রদানকারী মডেল আপডেট করে, পরিবর্তনের গুরুত্ব অনুযায়ী আমরা বিদ্যমান এন্ট্রি আপডেট করি বা নতুন তৈরি করি। বন্ধ করা মডেল সর্বশেষ জানা ফলাফল রাখে এবং “পুরোনো” ব্যাজ পায়।