বাংলা RAG ভালো দেখালেও ভুল হতে পারে—ভাষাভেদে আলাদা মাপুন

বাংলা RAG ব্যবস্থা নির্ভরযোগ্যভাবে পরীক্ষা করতে নথি উদ্ধারের ফল এবং উদ্ধার করা তথ্যের ভিত্তিতে তৈরি উত্তরের মান আলাদা মাপুন। কথ্য ও আনুষ্ঠানিক প্রশ্নের ফল পৃথক রাখুন; প্রশ্ন ও নথির ভাষা ভিন্ন হলেও নতুন ভাগ করুন। Ragas গবেষণা প্রাসঙ্গিক তথ্য উদ্ধার, সেই তথ্যের প্রতি উত্তরের বিশ্বস্ততা এবং তৈরি উত্তরের মানকে পৃথক মূল্যায়নের বিষয় হিসেবে দেখিয়েছে।

একটি সামগ্রিক স্কোর কেন যথেষ্ট নয়, তা বাংলাদেশি কৃষি নথির গবেষণায় স্পষ্ট: ১,০০০ প্রশ্নের মধ্যে যাচাইকৃত ৯০০টি উত্তরযোগ্য বাংলা প্রশ্নে Hybrid RRF বিন্যাসের সামগ্রিক R@10 ছিল ০.৫৩৯, অথচ একই পরীক্ষার ডেন্স Gemini বিন্যাসে কথ্য কৃষক প্রশ্নে R@10 ছিল ০.০৯৩ এবং আনুষ্ঠানিক নিরাপত্তা প্রশ্নে ০.৯৭০। এগুলো নির্দিষ্ট কৃষি নথি ও উদ্ধার বিন্যাসের ফল, পুরো RAG ব্যবস্থার উত্তরমানের স্কোর নয়। ফলে প্রতিটি প্রশ্নের জন্য কোন অংশ উদ্ধার হলো এবং সেই অংশ দিয়ে কী উত্তর তৈরি হলো, দুটোই সংরক্ষণ করতে হবে।

প্রশ্নসমষ্টিতে কথ্য, আনুষ্ঠানিক ও সম্পর্কভিত্তিক প্রশ্ন রাখুন

প্রথমে নিজের নথি থেকে এমন প্রশ্ন বাছুন, যেগুলোর উত্তর বা উত্তর না থাকার বিষয়টি যাচাই করা যায়। গবেষণার প্রশ্নভাগ থেকে তিনটি কাজের ধরন নেওয়া যায়: ব্যবহারকারীর কথ্য বর্ণনা, নথির পরিভাষার কাছাকাছি আনুষ্ঠানিক প্রশ্ন এবং একাধিক তথ্যের সম্পর্ক জানতে চাওয়া প্রশ্ন। কৃষি নথিতে কৃষক পাতার রং বা গাছের লক্ষণ বলেন, অথচ প্রাসঙ্গিক অংশে রোগের আনুষ্ঠানিক নাম থাকতে পারে। এই শব্দগত দূরত্বই পরীক্ষার একটি আলাদা শর্ত।

নিজের জ্ঞানভান্ডারের জন্য কথ্য প্রশ্ন সম্ভব হলে বাস্তব ব্যবহারকারীর ভাষা থেকে নিন এবং ব্যক্তিগত তথ্য সরিয়ে ফেলুন। একই বিষয়ের আনুষ্ঠানিক প্রশ্ন লিখলে তা নথির বাক্য হুবহু তুলে না দিয়ে ব্যবহারকারীর সম্ভাব্য জিজ্ঞাসার মতো রাখুন। সম্পর্কভিত্তিক প্রশ্নে কোন কোন তথ্য একসঙ্গে লাগবে, সেটিও আগে চিহ্নিত করুন; শুধু একটি শব্দ মিলে গেলেই উত্তর পাওয়া গেছে ধরে নিলে ওই ভাগের কঠিন দিকটি মাপা হবে না।

প্রতিটি প্রশ্নে গ্রহণযোগ্য উৎস অংশের স্থায়ী শনাক্তকারী এবং সংক্ষিপ্ত প্রত্যাশিত উত্তর রাখুন। একাধিক অংশ গ্রহণযোগ্য হলে সেগুলো আগেই নথিভুক্ত করুন। অস্পষ্ট প্রশ্ন বা গ্রহণযোগ্য উৎস নিয়ে মতভেদ থাকলে পর্যালোচনার জন্য আলাদা রাখুন; সেগুলোকে সরাসরি উদ্ধার ব্যর্থতা হিসেবে গণনা করলে স্কোরের অর্থ বদলে যায়। ফলের পাশে প্রতিটি প্রশ্নভাগের নমুনা সংখ্যাও দিন, যাতে ছোট ভাগের ওঠানামাকে বড় ভাগের ফলের সমান গুরুত্ব না দেওয়া হয়।

প্রশ্ন ও নথির ভাষা বদলে পৃথক পরীক্ষা চালান

ভাষার প্রভাব দেখতে একই বিষয়বস্তুর ওপর তিনটি অবস্থা রাখুন: বাংলা প্রশ্নে বাংলা নথি, ইংরেজি প্রশ্নে বাংলা নথি এবং ইংরেজি প্রশ্নে ইংরেজি নথি। মাঝের অবস্থায় প্রশ্ন ও নথির ভাষা আলাদা; শেষের অবস্থায় নথির অনুবাদও বদলেছে। প্রতিটি অবস্থার স্কোর আলাদা প্রকাশ করুন। সব ফল একসঙ্গে গড় করলে ভাষা বদলের পর কোন উদ্ধার পদ্ধতি দুর্বল হচ্ছে, তা বোঝা কঠিন।

অনুবাদে প্রশ্নের উদ্দেশ্য, কৃষি পরিভাষা এবং প্রত্যাশিত উৎস অংশের পরিচয় মিলিয়ে রাখুন। একই সঙ্গে নথির সংস্করণ, অংশ ভাগ করার নিয়ম, শীর্ষে ফেরত আনা ফলের সংখ্যা ও উদ্ধার পদ্ধতির সেটিং লিখে রাখুন। তুলনার মাঝখানে এসব বদলে গেলে ফলের পরিবর্তন শুধু ভাষার কারণে হয়েছে বলা যায় না। বাংলা ভাষার ভেতরেও কথ্য ও আনুষ্ঠানিক ভাগ বজায় রাখুন; একটি ইংরেজি অনুবাদ সেই পার্থক্যের বিকল্প নয়।

উদ্ধার পাওয়া আর প্রয়োজনীয় তথ্য পাওয়া আলাদা বিষয়

উদ্ধারের সরাসরি পরীক্ষা হলো নির্ধারিত শীর্ষ ফলের মধ্যে চিহ্নিত উৎস অংশটি এসেছে কি না। গবেষণার R@10 নিয়মে যাচাইকৃত উৎস অংশ প্রথম দশটি ফলের মধ্যে থাকলে প্রশ্নটি সফল ধরা হয়। নিজের নথিতে একাধিক অংশ মিলিয়ে উত্তর তৈরি হলে আগে স্থির করুন একটি অংশ পেলেই সফল বলবেন, নাকি প্রয়োজনীয় সব অংশ চাইবেন। দুই নিয়মের ফল পাশাপাশি রাখা যায়, কিন্তু একটির স্কোরকে অন্যটির নামে প্রকাশ করা যাবে না।

Ragas মেট্রিকের তালিকায় কনটেক্সট প্রিসিশন, কনটেক্সট রিকল, ফেইথফুলনেস ও উত্তর-প্রাসঙ্গিকতা পৃথক মাপ হিসেবে রয়েছে। কনটেক্সট প্রিসিশন দেখে দরকারি অংশগুলো ফলের ওপরের দিকে এসেছে কি না। কনটেক্সট রিকল দেখে প্রত্যাশিত উত্তরের প্রয়োজনীয় দাবিগুলো উদ্ধার করা অংশে পাওয়া যায় কি না। তাই নির্দিষ্ট উৎস অংশ শীর্ষ ফলের মধ্যে পাওয়ার হার এবং প্রয়োজনীয় তথ্যের কভারেজ এক জিনিস নয়।

কনটেক্সট রিকলের জন্য প্রত্যাশিত উত্তর বা প্রাসঙ্গিক উৎস অংশের রেফারেন্স লাগে। কনটেক্সট প্রিসিশনের রেফারেন্সবিহীন ধরন তৈরি উত্তরের সঙ্গে উদ্ধার করা অংশ মিলিয়ে বিচার করতে পারে; তৈরি উত্তরই ভুল হলে সেই বিচারও বিভ্রান্তিকর হতে পারে। রেফারেন্স আছে এমন প্রশ্নে রেফারেন্সভিত্তিক ধরন ব্যবহার করে দুই ধরনের স্কোরের পার্থক্য দেখুন। এতে উত্তর তৈরির ভুল উদ্ধার মূল্যায়নের ভেতরে ঢুকে পড়ার ঝুঁকি কমে।

উত্তরের বিশ্বস্ততা ও প্রশ্নের প্রাসঙ্গিকতা পৃথক মাপুন

উত্তর তৈরির পরীক্ষা চালান উদ্ধার করা অংশ স্থির রেখে। ফেইথফুলনেসে তৈরি উত্তরের প্রতিটি তথ্যগত দাবি দেওয়া অংশ দিয়ে সমর্থন করা যায় কি না দেখুন। উত্তর-প্রাসঙ্গিকতায় প্রশ্নের প্রয়োজনীয় জবাবটি দেওয়া হয়েছে কি না দেখুন। প্রথম মাপটি উৎসের প্রতি বিশ্বস্ততা, দ্বিতীয়টি প্রশ্নের সঙ্গে মিল; দুটোকে যোগ করে একটি অস্পষ্ট মান বানালে ত্রুটির জায়গা হারিয়ে যায়।

উত্তর প্রশ্নের ভাষা ও বিষয় ধরে লিখলেও সেখানে উৎসে না থাকা দাবি ঢুকতে পারে। আবার উদ্ধৃত অংশের প্রতি বিশ্বস্ত উত্তর প্রশ্নের প্রয়োজনীয় তথ্য বাদ দিতে পারে। তাই উচ্চ উত্তর-প্রাসঙ্গিকতাকে তথ্যগত নির্ভুলতার প্রমাণ ভাববেন না। বিশেষ করে কথ্য প্রশ্নে স্বয়ংক্রিয় বিচারক কোনো লক্ষণের বর্ণনা ও আনুষ্ঠানিক রোগের নামের সম্পর্ক ভুল বুঝেছে কি না, কম স্কোরের নমুনা মূল নথির সঙ্গে মিলিয়ে দেখুন।

একই বিন্যাসে পরীক্ষা চালিয়ে ভাগভিত্তিক ফল প্রকাশ করুন

1. প্রশ্ন, ভাষা, কথ্য বা আনুষ্ঠানিক ধরন, গ্রহণযোগ্য উৎস অংশের শনাক্তকারী এবং প্রত্যাশিত উত্তর একটি পরীক্ষাসমষ্টিতে রাখুন। গ্রহণযোগ্য উত্তর বা উৎস স্থির করা যায়নি এমন প্রশ্ন আলাদা চিহ্নিত করুন।
2. প্রতিটি উদ্ধার পদ্ধতি একই প্রশ্নসমষ্টিতে চালান। ফেরত আসা অংশের ক্রম ও উৎস সংরক্ষণ করে আগে উত্তর তৈরির মডেল ছাড়াই উৎস শনাক্তকারীর মিল এবং কনটেক্সট মেট্রিক মাপুন।
3. তারপর সংরক্ষিত অংশ দিয়ে উত্তর তৈরি করুন। প্রশ্ন, পাওয়া অংশ ও তৈরি উত্তর একসঙ্গে রেখে ফেইথফুলনেস এবং উত্তর-প্রাসঙ্গিকতা হিসাব করুন; যে মেট্রিকে রেফারেন্স লাগে, কেবল উপযুক্ত রেফারেন্স থাকা প্রশ্নে সেটি চালান।
4. প্রতিটি ভাষা ও প্রশ্নভাগের নমুনা সংখ্যা এবং মেট্রিকগুলো পাশাপাশি প্রকাশ করুন। কম স্কোরের কয়েকটি ঘটনা মূল উৎসে মিলিয়ে বিচারকের ভুল বোঝা, ভুল অংশ উদ্ধার এবং উৎস পেয়েও উত্তর বিচ্যুত হওয়ার ঘটনা আলাদা লিখুন।

উদ্ধার পদ্ধতির তুলনায় উত্তর তৈরির মডেল ও নথির সংস্করণ স্থির রাখুন। উত্তর তৈরির মডেল তুলনা করতে হলে একই উদ্ধার করা অংশ ব্যবহার করুন। এই রেকর্ড থাকলে কথ্য প্রশ্নে উৎস না পাওয়ার সমস্যা, ভাষা বদলে উদ্ধার কমে যাওয়া এবং উৎস পেয়েও অসমর্থিত উত্তর তৈরির সমস্যা পৃথকভাবে ধরা যায়। তখন সামগ্রিক স্কোর ভালো দেখালেও কোন প্রশ্নভাগে কাজ বাকি, তা স্পষ্ট থাকে।

আরও পড়ুন:

• GitHub AI Scan এখন API-তে—org চালু থাকলেও repo আলাদা করে বন্ধ হতে পারে
• বাংলা জ্ঞানভান্ডারে RAG না fine-tuning—ভুল পছন্দে খরচ বাড়ে
• Custom agent eval-এ trace গেলেও ভুল field দিলে score হবে না