বাংলা LLM বাছাই: ৯২ স্কোরেও টোকেন খরচে বড় ফারাক

Artificial Analysis-এর বাংলা যুক্তির সূচকে Gemini 3.1 Pro Preview ও Claude Opus 4.6 (max) উভয়ের স্কোর ৯২; GPT-5 (high) পেয়েছে ৯১। কঠিন বাংলা প্রশ্নের জন্য প্রথম দুটি শক্তিশালী প্রার্থী। কিন্তু ওই স্কোর দিয়ে বাংলা লেখা প্রক্রিয়াকরণের টোকেন সংখ্যা বা API বিল জানা যায় না।

বিপুল পরিমাণ লেখা শ্রেণিবিন্যাস ও সংক্ষিপ্ত সারাংশের জন্য GPT-6 Luna-এর কম ইনপুট মূল্য আকর্ষণীয়; বাংলাদেশের পরীক্ষার প্রশ্নে নির্ভুলতা অগ্রাধিকার পেলে Gemini পরিবারের পরীক্ষিত সংস্করণগুলো বেশি প্রাসঙ্গিক। Claude জটিল যুক্তির সংক্ষিপ্ত তালিকায় থাকে, তবে কোন মডেল সেরা হবে তা কাজের ধরন ও গ্রহণযোগ্য খরচের ওপর নির্ভর করে। এখানে ব্যবহৃত বেঞ্চমার্কে GPT-6 Luna-এর তুলনাযোগ্য বাংলা ফল নেই।

যুক্তির স্কোর কোন সিদ্ধান্তে কাজে লাগে

Artificial Analysis-এর সূচক একটি নির্দিষ্ট ভাষায় সাধারণ যুক্তির সক্ষমতা মাপে। ফলে একই ধরনের প্রশ্নোত্তর কাজে প্রার্থী ছোট করতে এটি সহায়ক। দীর্ঘ সংবাদ বিশ্বস্তভাবে সংক্ষেপ করা, গ্রাহকের অভিযোগের স্বাভাবিক জবাব দেওয়া কিংবা বাংলাদেশের প্রচলিত শব্দচয়ন সামলানো—এসব আলাদা কাজ; যুক্তির স্কোরকে সেগুলোর সরাসরি মানপরীক্ষা হিসেবে ব্যবহার করা যায় না।

পূর্ণ মডেল নাম ও পরীক্ষার কনফিগারেশনও এখানে জরুরি। Claude Opus 4.6 (max) ও GPT-5 (high)-এর ফল একই কোম্পানির ছোট বা সস্তা সংস্করণের ফল নয়। Gemini 3.1 Pro Preview-এর স্কোরের পাশে Gemini পরিবারের অন্য সংস্করণের দাম বসালেও একটি কাল্পনিক মান–মূল্য জুটি তৈরি হয়। নির্দিষ্ট সংস্করণের গুণমান বিচার করতে তার পরীক্ষার ফল, আর বিল বুঝতে সেই সংস্করণের মূল্য ও টোকেন ব্যবহার ধরতে হবে।

বাংলাদেশের প্রশ্নে ফল ও বাংলা–ইংরেজি ব্যবধান

পুনরুৎপাদনযোগ্য bangla-llm-bench পরীক্ষায় বাংলাদেশের পরীক্ষাভিত্তিক প্রশ্নে Gemini 3.8 Flash ও Gemini 3.1 Pro উভয়ের নির্ভুলতা ৯২.৭%, Claude Opus 5.5-এর ৯২.০% এবং ছোট Qwen3-8B-এর ৬৭.০%। একই প্রকল্পে Gemini 3.8 Flash অনূদিত MMLU প্রশ্নের ইংরেজি সংস্করণে ৯৫.১% ও বাংলা সংস্করণে ৯৪.৭% পেয়েছে। এই ব্যবধান দেশীয় পরীক্ষার ফলের সঙ্গে গুলিয়ে ফেলা উচিত নয়: দেশীয় প্রশ্নগুলোর ইংরেজি জোড়া নেই।

দেশীয় অংশে সরকারি চাকরি, উচ্চমাধ্যমিক এবং বিশ্ববিদ্যালয় ও পেশাভিত্তিক ভর্তি পরীক্ষার প্রশ্ন রয়েছে। তাই এই ফল বাংলাদেশের পাঠ্য ও পরীক্ষার ভাষা সামলানোর একটি নির্দিষ্ট ইঙ্গিত দেয়। অন্যদিকে অনূদিত প্রশ্নের বাংলা–ইংরেজি জোড়া একই বিষয় দুই ভাষায় দিলে উত্তর বদলায় কি না, তা দেখতে সাহায্য করে। গ্রাহকসেবা বা সংবাদ সারাংশে কোন মডেল ভালো লিখবে, সেই সিদ্ধান্তে উভয় ফলের পাশাপাশি সংশ্লিষ্ট কাজের উত্তরের মানও গুরুত্বপূর্ণ।

এখানে দুটি বেঞ্চমার্কের স্কেল ও পরীক্ষার পরিবেশ আলাদা। Artificial Analysis-এর ৯২ হলো তার নিজস্ব যুক্তির সূচক; দেশীয় পরীক্ষার শতাংশ হলো নির্দিষ্ট প্রশ্নসেটে সঠিক উত্তরের হার। একটি থেকে অন্যটি বিয়োগ করে মডেলের উন্নতি বা অবনতি নির্ণয় করা যায় না। একই কারণে স্থানীয় পরীক্ষায় Gemini 3.8 Flash-এর ফলকে Gemini 3.1 Pro Preview-এর যুক্তির স্কোরের সমার্থক ধরা যাবে না।

একই বাংলা প্রশ্নে টোকেন কেন বাড়ে

API সাধারণত শব্দ নয়, পাঠানো ইনপুট ও তৈরি হওয়া আউটপুটের টোকেন ধরে মূল্য নির্ধারণ করে। বাংলা অক্ষর ও শব্দকে কোনো টোকেনাইজার বেশি খণ্ডে ভাগ করলে একই প্রশ্নের ইংরেজি সংস্করণের তুলনায় ইনপুট টোকেন বাড়ে। পরীক্ষাটির একই MMLU প্রশ্নে OpenAI o200k টোকেনাইজারে বাংলা টোকেন ইংরেজির ১.৬২ গুণ, আর Qwen3 টোকেনাইজারে ৪.৪৯ গুণ। ফলে প্রতি টোকেনের দর একা দেখে বাংলা কাজের মোট ব্যয় বোঝা যায় না।

ওই অনুপাত প্রশ্ন ও উত্তরের বিকল্পসহ একটি নির্দিষ্ট সেটের মাপ। দীর্ঘ সংবাদ, মিশ্র বাংলা–ইংরেজি বার্তা কিংবা ছোট চ্যাট উত্তরে অনুপাত বদলাতে পারে। টোকেনাইজারের নামও মডেলের নামের বিকল্প নয়: Qwen3-এর মাপ থেকে Qwen 3.8 Flash-এর বিল নির্ভুলভাবে বের করা যায় না। কাজের প্রকৃত লেখায় ইনপুটের সঙ্গে আউটপুট কতটা দীর্ঘ হয়, সেটিও মোট খরচ বদলায়।

টাকায় ইনপুট খরচ ও পরিশোধের পথ

স্থানীয় বিক্রেতা Tokens-এর ১০ অক্টোবর ২০২৬-এর বাংলা ইনপুট মূল্যহিসাবে প্রতি দশ লাখ বাংলা শব্দে GPT-6 Luna প্রায় ২৬ টাকা, Qwen 3.8 Flash প্রায় ৪২ টাকা এবং Gemini 3.7 Flash প্রায় ৩৮৭ টাকা। হিসাবটি শব্দপ্রতি আনুমানিক ১.৯ টোকেন ও সে সময়ের মুদ্রা রূপান্তরের ওপর দাঁড়ানো; এটি সম্পূর্ণ কথোপকথনের বিল নয়। বিশেষ করে সব মডেলের নিজস্ব বাংলা টোকেন ব্যবহার একই ধরে নেওয়া হলে বাস্তব খরচ অনুমান থেকে সরে যেতে পারে।

সরাসরি সরবরাহকারীর দর ও স্থানীয় বিক্রেতার দরও এক নয়। OpenAI-এর সরকারি স্ট্যান্ডার্ড মূল্যতালিকায় GPT-6 Luna-এর প্রতি দশ লাখ ইনপুট টোকেনের দর ০.১০ ডলার, আউটপুটের ০.৫০ ডলার। স্থানীয় টাকার অনুমানের সঙ্গে এই দর তুলতে মুদ্রা রূপান্তর, বিক্রেতার মূল্য এবং বাস্তবে ব্যবহৃত টোকেন আলাদা করে ধরতে হয়। দীর্ঘ উত্তর দেওয়া চ্যাটবটে শুধু ইনপুটের সস্তা দর দেখে বাজেট করলে আউটপুটের অংশ বাদ পড়ে।

Tokens তাদের সেবায় bKash ও Nagad দিয়ে টাকায় পরিশোধের সুবিধা জানায়; সেটি মধ্যস্থতাকারীর সুবিধা। সরাসরি Gemini API ব্যবহারের ক্ষেত্রে Google-এর বিলিং নির্দেশনা অনুযায়ী নতুন অ্যাকাউন্টে নির্বাচিত মডেলের জন্য সীমিত বিনামূল্যের স্তর থাকে এবং প্রদেয় স্তরে যেতে বিলিং অ্যাকাউন্ট যুক্ত করতে হয়। তাই একই মডেলের সরাসরি API ও স্থানীয় বিক্রেতার পথের মূল্য যেমন আলাদা হতে পারে, পরিশোধের ব্যবস্থাও আলাদা। বাংলাদেশে ব্যবহারযোগ্য পরিশোধপদ্ধতি নির্বাচনকে বাস্তব সিদ্ধান্তের অংশ করে তোলে।

কাজভেদে কোন মডেল এগিয়ে

• কঠিন বাংলা যুক্তি ও প্রশ্নোত্তর: Gemini 3.1 Pro Preview এবং Claude Opus 4.6 (max) যুক্তির সূচকভিত্তিক সংক্ষিপ্ত তালিকা। বাংলাদেশের পরীক্ষার ভাষা মূল প্রয়োজন হলে Gemini 3.8 Flash-এর দেশীয় প্রশ্নের ফলও প্রাসঙ্গিক। নির্ভুলতা বেশি গুরুত্বপূর্ণ এমন কাজে সাধারণ সূচকের পাশাপাশি নিজের বিষয়ের প্রশ্নে উত্তরের মান দেখতে হবে।
• বড় পরিসরে শ্রেণিবিন্যাস ও ছোট সারাংশ: GPT-6 Luna কম ইনপুট মূল্যের প্রার্থী; স্থানীয় মূল্যতালিকায় Qwen 3.8 Flash-ও তুলনামূলক সস্তা। তবে উল্লিখিত পরীক্ষাগুলো এই দুই মডেলের একই ধরনের বাংলা শ্রেণিবিন্যাস বা সারাংশের মান তুলনা করে না। সস্তা ইনপুটের লাভ ধরে নেওয়ার আগে ভুল শ্রেণি, বাদ পড়া তথ্য ও আউটপুটের দৈর্ঘ্য হিসাবের বিষয়।
• ছোট বহুভাষিক মডেল: Qwen3-8B-এর দেশীয় পরীক্ষার ফল বড় মডেলগুলোর পেছনে। সহজ ও সীমিত বিষয়ভিত্তিক শ্রেণিবিন্যাসে গ্রহণযোগ্য ফল পাওয়া গেলে এটি বিকল্প হতে পারে; বাংলাদেশের জ্ঞাননির্ভর প্রশ্নে বড় মডেলের সমান সক্ষমতা ধরে নেওয়ার ভিত্তি নেই। Qwen3 টোকেনাইজারের বাড়তি বাংলা টোকেনও API খরচের অনুমানে আলাদা মনোযোগ দাবি করে।
• গ্রাহকমুখী বাংলা চ্যাটবট: যুক্তির নম্বরের সঙ্গে স্বাভাবিক ভাষা, ভুল তথ্য, অপ্রাসঙ্গিক প্রত্যাখ্যান ও উত্তরের দৈর্ঘ্য বিচার করতে হবে। নিয়মিত ছোট প্রশ্নে সস্তা মডেল এবং জটিল প্রশ্নে শক্তিশালী মডেল ব্যবহার একটি সম্ভাব্য নকশা। সেটি সাশ্রয়ী হবে কি না, তা নির্ভর করবে কঠিন প্রশ্ন কতবার আসে এবং উভয় পথে কত ইনপুট ও আউটপুট টোকেন লাগে তার ওপর।

আরও পড়ুন:

• বাংলাদেশের sovereign AI এক বছরের মধ্যে—বাংলা LLM-ও পাবে অবকাঠামো
• BHASHINI–মণিপুর চুক্তি—বাস্তব সেবা বাছাই এখনো বাকি
• Agents API sandbox বাছাই: managed সুবিধার আগে secret ও network boundary মাপুন