বাস্তব office context-এ AI agent-এর pass rate নেমেছে ৬৮.২%-এ

২০ সেপ্টেম্বর ২০২৬-এ জমা দেওয়া WorkWorlds গবেষণার প্রথম সংস্করণে দেখা যায়, বাছাই করা ফাইলের বদলে কর্মীর ভূমিকায় দৃশ্যমান পূর্ণ তথ্যপরিসর দিলে পরীক্ষিত এআই এজেন্টগুলোর মানদণ্ডে পাসের হার ৭৯.৪% থেকে ৬৮.২%-এ নামে। একই তুলনায় কাজের জন্য যথেষ্ট প্রমাণে পৌঁছানোর হার ৯০.৪% থেকে ৭৪.৫%-এ নামে; ফলটি ১৯২টি মিলিয়ে দেখা পরীক্ষার ওপর ভিত্তি করে। WorkWorlds বাস্তব প্রতিষ্ঠানে এজেন্ট চালানোর ফল নয়, কর্মক্ষেত্রের সাংগঠনিক অবস্থা অনুকরণ করে তৈরি মূল্যায়ন অবকাঠামো।

২৩ সেপ্টেম্বরের সংশোধিত গবেষণায় পূর্ণ তথ্যপরিসরে মানদণ্ডে পাসের মডেল-সমন্বিত হিসাব ৬৮.০% এবং বাছাই করা তথ্যে ৭৬.৭%; যথেষ্ট প্রমাণে পৌঁছানোর হার যথাক্রমে ৭২.৮% ও ৯০.৪%। ফলে শিরোনামের ৬৮.২% প্রথম সংস্করণের হিসাব, সর্বশেষ সংস্করণের একই মেট্রিক নয়। দুই সংস্করণেই মূল পর্যবেক্ষণ এক: আগে থেকে প্রাসঙ্গিক ফাইল বেছে দিলে এজেন্টকে তথ্য খুঁজে বের করার কাজ কম করতে হয়।

WorkWorlds কাজের আগে কর্মপরিবেশ স্থির করে

ArcXiv-এর গবেষণা নথিতেও WorkWorlds-এর ২০ সেপ্টেম্বর ২০২৬-এর জমা এবং প্রথম সংস্করণের ৬৮.২% ফল নথিবদ্ধ আছে। এর নকশায় প্রথমে প্রতিষ্ঠানের সংস্করণ, সময় ও কর্মীর ভূমিকা নির্ধারিত হয়। সেই কর্মী কোন ফাইল, যোগাযোগ ও রেকর্ড দেখতে পারবেন, তা থেকে কাজের আগের পরিবেশ তৈরি হয়; নির্দিষ্ট কাজের নির্দেশ আসে পরে।

এই ক্রমই প্রচলিত সাজানো ফাইলের পরীক্ষার সঙ্গে পার্থক্য গড়ে দেয়। কাজটি আগে জানা থাকলে পরীক্ষক প্রয়োজনীয় নথি শনাক্ত করে এজেন্টের সামনে রাখতে পারেন। তাতে এজেন্ট উত্তর তৈরি বা কাজ সম্পন্ন করতে পারে কি না বোঝা যায়, কিন্তু বৃহত্তর কর্মপরিসরে কোন তথ্য দরকার এবং কোথায় তা পাওয়া যাবে, সেই সক্ষমতা পুরোপুরি মাপা হয় না। WorkWorlds একই সাংগঠনিক অবস্থা থেকে বাছাই করা তথ্যগুচ্ছ ও কর্মীর জন্য দৃশ্যমান পূর্ণ তথ্যপরিসর তৈরি করে এই সুবিধার প্রভাব তুলনা করেছে।

প্রধান পরীক্ষার পরিবেশ PharmaCo নামের একটি কাল্পনিক ওষুধ প্রস্তুতকারক প্রতিষ্ঠান। এর রেকর্ড, যোগাযোগ, কর্মীর ভূমিকা ও তথ্য দেখার অনুমতি একই সাংগঠনিক ইতিহাসের অংশ। ফলে এজেন্টের সামনে শুধু প্রাসঙ্গিক ফাইল থাকে না; সংশ্লিষ্ট কর্মী দেখতে পারেন এমন অন্য উপকরণও থাকে। কোন রেকর্ড কাজের জন্য যথেষ্ট, তা শনাক্ত করাও তখন কাজের অংশ।

ফলের বড় ফারাক তৈরি হয়েছে প্রমাণ খোঁজার ধাপে

সংশোধিত বিশ্লেষণে যথেষ্ট প্রমাণে পৌঁছানোর পর দুই তথ্যপরিসরে পাসের হার কাছাকাছি ছিল। বড় পার্থক্যটি দেখা গেছে তার আগে: পূর্ণ কর্মপরিসরে এজেন্ট প্রয়োজনীয় প্রমাণ পর্যন্ত কম পৌঁছেছে। তাই কম পাসের হারকে শুধু সিদ্ধান্ত নেওয়ার দুর্বলতা বলা যায় না। শেষ কাজ ব্যর্থ হলে এজেন্ট প্রমাণ খুঁজে পায়নি, নাকি প্রমাণ পেয়েও ভুল সিদ্ধান্ত নিয়েছে—এই দুই অবস্থার অর্থ আলাদা।

বাছাই করা ফাইলগুচ্ছ তৈরির নিয়মও এখানে গুরুত্বপূর্ণ। গবেষণার তুলনায় ফাইলগুলো একই কর্মী-দৃশ্যমান উৎস থেকে নেওয়া হয়েছিল; উৎসের লেখা বদলানো বা নতুন সারসংক্ষেপ যোগ করা হয়নি। কাজ, কর্মীর ভূমিকা, এজেন্টের বিন্যাস ও মূল্যায়নের নিয়ম একই রেখে মূলত তথ্যের পরিধি বদলানো হয়েছিল। তাই ফলের ফারাককে শুধু আলাদা প্রশ্ন বা আলাদা এজেন্ট ব্যবহারের ফল হিসেবে ব্যাখ্যা করতে হয় না।

তবু পূর্ণ তথ্যপরিসরে বাধাটির একটিমাত্র কারণ গবেষণাটি শনাক্ত করেনি। প্রাসঙ্গিক নথি খোঁজার অসুবিধা, অপ্রাসঙ্গিক তথ্যের উপস্থিতি এবং বড় প্রসঙ্গ সামলানোর চাপ একই সঙ্গে কাজ করতে পারে। এই সীমা গুরুত্বপূর্ণ: প্রমাণে পৌঁছানোর হার কমেছে জানা গেলেও কোন অনুসন্ধান-পদ্ধতি বদলালে কতটা উন্নতি হবে, প্রকাশিত তুলনা থেকে তা নির্দিষ্ট করে বলা যায় না।

প্রতিষ্ঠানের পাইলটে তুলনাটি কীভাবে পুনর্গঠন করা যায়

এন্টারপ্রাইজ পাইলটে WorkWorlds-এর ফল সরাসরি নিজের প্রতিষ্ঠানের সম্ভাব্য পাসের হার হিসেবে বসানো যাবে না। এর বেশি কার্যকর ব্যবহার হলো একই কাজের জন্য তথ্যের দুটি অবস্থা তৈরি করা: আগে থেকে বাছাই করা প্রাসঙ্গিক তথ্য এবং সংশ্লিষ্ট কর্মীর অনুমতিতে দৃশ্যমান পূর্ণ তথ্যপরিসর। এটি গবেষণার নকশা থেকে নেওয়া মূল্যায়ন-পদ্ধতির প্রস্তাব; কোনো প্রতিষ্ঠানে এই পদ্ধতির ফল কত হবে, গবেষণাটি তা মাপেনি।

তুলনা শুরুর আগে প্রতিষ্ঠানের তথ্যের নির্দিষ্ট সংস্করণ ও সময়, কর্মীর ভূমিকা, কাজের নির্দেশ এবং অনুমোদিত পরিবর্তন স্থির করতে হবে। বাছাই করা ফাইল যেন পূর্ণ তথ্যপরিসরের একই উৎস থেকে আসে; পরীক্ষক যেন উত্তর লেখা, ফাইলের নাম বদলানো বা ইঙ্গিতপূর্ণ সারসংক্ষেপ যোগ করে এক অবস্থাকে বাড়তি সাহায্য না দেন। দুই অবস্থায় এজেন্টের বিন্যাস, কাজের সুযোগ, সময়সীমা ও মূল্যায়নের নিয়ম একই থাকলে পার্থক্যটির ব্যাখ্যা স্পষ্ট হয়।

মূল পর্যবেক্ষণ হবে এজেন্ট কী পেয়েছে এবং শেষ পর্যন্ত কী করেছে—দুটিই। কোন ফাইল বা রেকর্ডের মূল বিষয়বস্তু সে খুলেছে বা অনুসন্ধানে পেয়েছে, তার পথ সংরক্ষণ করতে হবে। শুধু ফাইলের নাম তালিকায় দেখা যথেষ্ট প্রমাণে পৌঁছানোর সমান নয়। সেই পথের সঙ্গে চূড়ান্ত উত্তর বা পরিবর্তিত অবস্থা মিলিয়ে দেখলে তথ্য অনুসন্ধানে ব্যর্থতা এবং প্রমাণ ব্যবহার করে সিদ্ধান্ত নেওয়ার ব্যর্থতা আলাদা করা সম্ভব।

পাসের হারের পাশে আলাদা মূল্যায়ন কার্ড

WorkWorlds-এর প্রকাশিত তুলনা মানদণ্ডে পাস ও যথেষ্ট প্রমাণে পৌঁছানোকে আলাদা ফল হিসেবে দেখায়। প্রতিষ্ঠানের নিজস্ব পাইলটে এর পাশে অনুমতি, তথ্যের উৎস শনাক্তযোগ্যতা এবং ক্ষতিকর পদক্ষেপের হিসাব রাখা একটি সম্পাদকীয় প্রস্তাব। নিচের কার্ডের সব ঘরের জন্য WorkWorlds কোনো প্রকাশিত পাসের হার দেয়নি; প্রতিষ্ঠানকে নিজের পরীক্ষা থেকেই সেগুলো পূরণ করতে হবে।

• কাজ সম্পন্ন: নির্ধারিত ফল ও মূল্যায়নের মানদণ্ড পূরণ হয়েছে কি না।
• প্রমাণ খোঁজা: কাজের জন্য যথেষ্ট তথ্যের মূল বিষয়বস্তু পর্যন্ত এজেন্ট পৌঁছেছে কি না।
• অনুমতির সঙ্গে সামঞ্জস্য: তথ্য দেখা ও পরিবর্তনের চেষ্টা কর্মীর অনুমোদিত সীমায় ছিল কি না।
• তথ্যের উৎস শনাক্তযোগ্যতা: সিদ্ধান্তে ব্যবহৃত তথ্য কোন রেকর্ড ও সংস্করণ থেকে এসেছে, পরে তা যাচাই করা যায় কি না।
• ক্ষতিকর পদক্ষেপ: ভুল, অননুমোদিত বা নিষিদ্ধ পরিবর্তন ঘটেছে কি না, কাজের ফল ভালো হলেও।

এই ঘরগুলো একই ফলের ভিন্ন ব্যাখ্যা ধরে রাখে। এজেন্ট প্রমাণ পেয়েও ভুল সিদ্ধান্ত নিতে পারে; আবার প্রমাণ না পেয়ে থেমে যেতে পারে। কাজের ফল গ্রহণযোগ্য হলেও অনুমতির সীমা অতিক্রম করা বা যাচাই করা যায় না এমন উৎস ব্যবহার করা প্রতিষ্ঠানের জন্য আলাদা সমস্যা। শুধু মোট পাসের হার দেখালে এসব ঘটনা একই সংখ্যার মধ্যে মিশে যায়।

ফলটির বর্তমান সীমা

পরিমাপ করা তুলনাটি নথিনির্ভর, কাল্পনিক PharmaCo পরিবেশের কাজের ওপর দাঁড়িয়েছে। প্রতিটি পরীক্ষা কাজের আগের স্থির সাংগঠনিক অবস্থা থেকে শুরু হয়েছে; চলার সময় অন্য কর্মীর নতুন বার্তা বা রেকর্ড এসে পরিবেশ বদলায়নি। ফলে প্রকাশিত পাসের হার কোনো নির্দিষ্ট বাস্তব প্রতিষ্ঠানে এজেন্টের সফলতার পূর্বাভাস নয়। অন্য খাত, ভিন্ন তথ্যের ঘনত্ব বা চলমান পরিবর্তনের পরিবেশে একই ব্যবধান পাওয়া যাবে কি না, সেটিও এখনও এই তুলনা থেকে জানা যায় না।

বর্তমান গবেষণায় প্রতিষ্ঠিত পর্যবেক্ষণ হলো, আগে থেকে বাছাই করা তথ্য এজেন্টের মূল্যায়নের ফল বাড়িয়েছে এবং প্রয়োজনীয় প্রমাণ খুঁজে পাওয়ার ধাপেই বড় ফারাক তৈরি হয়েছে। সংশোধিত সংস্করণ সেই দিকটি বজায় রেখেছে, যদিও হিসাব বদলেছে। নিজস্ব কর্মপরিবেশে ব্যবধানটির আকার জানতে হলে একই কাজ ও অনুমতির শর্তে বাছাই করা এবং পূর্ণ তথ্যপরিসরের পৃথক ফল প্রয়োজন।

আরও পড়ুন:

• Claude Code খরচ বাড়ে পুরোনো context-এ: কমানোর ছয়টি বাস্তব উপায়
• UGC rate card-এ ‘full rights’ লিখবেন না—এক কথায় আয় অর্ধেক হতে পারে
• Euno পেল $২.৩ কোটি—agent-এর access-ও context অনুযায়ী বাঁধবে