AI agent کا benchmark دھوکا دے سکتا ہے—deployment سے پہلے transcript دیکھیں

اے آئی ایجنٹ کو عملی استعمال میں لانے سے پہلے اپنے کاروبار کے حقیقی کاموں پر بار بار آزمائیں اور ہر کوشش کا مکمل ریکارڈ محفوظ کریں۔ صرف کامیابی کی شرح اجرا کا فیصلہ نہیں کر سکتی: جواب درست دکھائی دینے کے باوجود ایجنٹ ممنوع ٹول استعمال کر سکتا ہے، ضروری شرط نظرانداز کر سکتا ہے یا ایسی لاگت پیدا کر سکتا ہے جو روزمرہ استعمال میں قابلِ قبول نہ ہو۔

قابلِ تکرار جانچ کے لیے ہر کام کا مطلوبہ نتیجہ، اجازت کی حد اور کامیابی کی شرط پہلے لکھیں۔ پھر ایک ہی ترتیب میں متعدد کوششوں کے نتائج، آخری حالت، وقت، روپے میں لاگت اور ٹول کے استعمال کو دیکھیں۔ ماڈل یا ہدایات بدلنے پر یہی مجموعہ دوبارہ چلائیں تاکہ فیصلے کی بنیاد بدلتے ہوئے آزمائشی سوالات نہ بن جائیں۔

حقیقی کاموں کا آزمائشی مجموعہ بنائیں

ابتدا کے لیے ۲۰ سے ۵۰ مختصر کام مناسب ہیں۔ Anthropic کی ایجنٹ جانچ کی رہنمائی حقیقی ناکامیوں سے لیے گئے اتنے کاموں کو ابتدائی مجموعے کے لیے مفید قرار دیتی ہے۔ یہ عدد ہر ادارے کے لیے کافی ہونے کی ضمانت نہیں؛ کام ایسے چنیں جو آپ کے استعمال، صارفین کی زبان اور اہم خطرات کی نمائندگی کریں۔

مثلاً پاکستانی کسٹمر سپورٹ ایجنٹ کے لیے اردو میں واپسی کی درخواست، نامکمل پتا، ایک گاہک کے دو آرڈر، غلط آرڈر نمبر اور انسانی نمائندے کو منتقل کرنے والی درخواست آزمائشی صورتیں ہو سکتی ہیں۔ یہ فرضی مثالیں ہیں؛ اصل مجموعے میں اپنی پالیسی اور پہلے پیش آنے والی خرابیوں سے کام شامل کریں۔ آسان درخواستوں کے ساتھ مبہم معلومات، ناکام ٹول اور ایسی صورت بھی رکھیں جہاں درست اقدام کارروائی روک کر وضاحت مانگنا ہو۔

ہر کام کے لیے متوقع آخری حالت لکھیں: جواب کیا ہونا چاہیے، ریکارڈ میں کون سی تبدیلی جائز ہے اور کون سا عمل ممنوع ہے؟ درست جواب دینے کے باوجود غلط آرڈر بدلنا مکمل کامیابی نہیں۔ NIST کا ابتدائی مسودہ جانچ کا مقصد اور مناسب بینچ مارک منتخب کرنے، آزمائش چلانے، پھر نتائج اور غیر یقینی صورتِ حال رپورٹ کرنے کے مراحل بیان کرتا ہے؛ اس کے مطابق بدلتے حالات یا انسانی تعامل والے ہر کام کے لیے خودکار بینچ مارک کافی نہیں ہوتا۔

متعدد کوششوں سے تسلسل ناپیں

ہر کام کو ایک ہی ماڈل، ہدایات، ٹول کی اجازت اور کامیابی کی شرط کے ساتھ کئی بار چلائیں۔ ہر کوشش صاف آزمائشی حالت سے شروع کریں، تاکہ پچھلی کوشش کا بدلا ہوا آرڈر یا محفوظ جواب اگلی کوشش کی مدد نہ کرے۔ عملی ابتدائی شیٹ میں، مثلاً، ہر کام کی تین کوششیں رکھی جا سکتی ہیں؛ یہ ادارے کی منتخب جانچ کی ترتیب ہے، کوئی عالمی معیار نہیں۔

کامیابی کو الگ زاویوں سے گنیں۔ pass@k بتاتا ہے کہ مقررہ کوششوں میں کم از کم ایک بار درست نتیجہ ملا یا نہیں؛ pass^k کا سوال یہ ہے کہ کیا تمام کوششیں کامیاب رہیں۔ اگر صارف کو ہر درخواست پر صرف ایک موقع ملتا ہے تو پہلی کوشش اور مسلسل کامیابی زیادہ متعلقہ ہیں۔ جہاں جائز طور پر کئی متبادل تیار کیے جاتے ہیں اور بہترین جواب چنا جاتا ہے، وہاں کم از کم ایک کامیابی بھی مفید پیمانہ ہو سکتی ہے۔

شیٹ میں ہر کام کی کامیاب کوششیں الگ رکھیں، پھر پہلی کوشش میں کامیاب، کسی بھی کوشش میں کامیاب اور تمام کوششوں میں کامیاب کاموں کی تعداد نکالیں۔ جزوی انجام کو مکمل کامیابی میں نہ ملائیں: درست پیغام کے ساتھ غلط ریکارڈ تبدیلی الگ خرابی ہے۔ چھوٹے مجموعے سے نکلی شرح کو عملی دنیا کی قطعی پیش گوئی نہ بنائیں؛ دیکھیں کہ ناکامیاں کن کاموں میں جمع ہو رہی ہیں۔

بظاہر کامیاب کوشش کا راستہ کھولیں

آخری جواب کے ساتھ ٹول کال، دیے گئے پیرامیٹر، موصولہ جواب اور بدلی ہوئی حالت کا ریکارڈ دیکھیں۔ NIST کے ایجنٹ جانچ کے ریکارڈ میں حل تک غیر مناسب رسائی، سافٹ ویئر ٹیسٹ کی شرط غیر مؤثر کرنے اور مطلوبہ کمزوری دریافت کرنے کے بجائے سرور گرا کر اسکور لینے کی مثالیں درج ہیں۔ یہ مخصوص جانچوں کے واقعات ہیں؛ ان سے واضح ہوتا ہے کہ کامیاب اسکور مطلوبہ کام درست طریقے سے مکمل ہونے کا ثبوت اکیلا نہیں بنتا۔

اپنے کاروباری کاموں میں دیکھیں کہ ایجنٹ نے تصدیق سے پہلے رقم بدلی، دوسرے صارف کا ڈیٹا کھولا، ناکام ٹول کو کامیاب ظاہر کیا یا اجازت سے باہر کوئی قدم اٹھایا تو نہیں۔ جس آخری حالت کو ناپا جا سکتا ہے، اسے خودکار شرط بنائیں؛ ممنوع ٹول اور پیرامیٹر بھی خودکار طور پر نشان زد کریں۔ مبہم جواب، سیاق کی غلط تعبیر اور غیر ضروری کارروائی کے لیے انسانی جائزہ رکھیں، کیونکہ یہ ہمیشہ سادہ شرط میں نہیں سماتے۔

تمام ناکام کوششیں اور مشتبہ کامیابیاں پڑھیں، پھر کامیاب کوششوں کا بھی اتفاقی نمونہ دیکھیں۔ صرف ناکامیوں کا ریکارڈ پڑھنے سے وہ راستے چھوٹ جاتے ہیں جن پر ایجنٹ غلط قدم اٹھا کر بھی اسکور حاصل کر لیتا ہے۔ جائزہ لینے والا مختصر وجہ درج کرے، مثلاً غلط ڈیٹا، غیر مجاز کارروائی یا جانچ کی خامی؛ اس سے خرابی درست کرنے کے بعد اسے دوبارہ آزمایا جا سکے گا۔

ایک قطار میں ایک کوشش کا حساب رکھیں

شیٹ کی ایک قطار ایک کوشش کے لیے رکھیں، اور کام کی شناخت سے اس کی دوسری کوششیں جوڑیں۔ اس طرح مجموعی شرح کے پیچھے چھپی جزوی ناکامی، زائد لاگت یا ممنوع اقدام تک پہنچنا آسان رہتا ہے۔ بنیادی خانے یہ رکھیں:

• کام کی شناخت، قسم، اصل درخواست، مطلوبہ آخری حالت اور کامیابی کی شرط؛
• ماڈل اور ہدایات کا نسخہ، دستیاب ٹول، اجازت کی حد اور کوشش کی شناخت؛
• مکمل، جزوی یا ناکام نتیجہ، بدلی ہوئی حالت اور مکمل ریکارڈ کا محفوظ حوالہ؛
• دورانیہ، استعمال شدہ ٹوکن، ٹول کی الگ لاگت اور پاکستانی روپے میں کل خرچ؛
• ممنوع اقدام، خرابی کی بنیادی اور ثانوی قسم، اور انسانی جائزے کا فیصلہ۔

خرابیوں کے نام پہلے سے مقرر کریں: غلط نتیجہ، نامکمل کام، غلط ٹول یا پیرامیٹر، اجازت کی خلاف ورزی، معلومات کی غلط نسبت، وقت ختم ہونا اور جانچ کی اپنی خرابی۔ ایک کوشش میں کئی مسائل ہوں تو بنیادی وجہ کے ساتھ دوسری وجہ بھی درج کریں۔ اس سے جواب کی غلطی اور جانچنے والے نظام کی غلطی ایک ہی خانے میں نہیں چھپیں گی۔

اجرا کی شرط نتیجہ دیکھنے سے پہلے طے کریں

پہلے لکھیں کہ کون سے کام ہر کوشش میں کامیاب ہونے چاہییں، کون سا ممنوع اقدام اجرا روک دے گا، اور فی کام کتنی تاخیر اور لاگت قابلِ قبول ہے۔ روپے کی حد میں ماڈل کی بلنگ کے ساتھ تلاش، دوسرے ٹول اور دوبارہ کوشش کا خرچ بھی شامل کریں؛ استعمال شدہ شرحِ تبادلہ اور اس کی تاریخ محفوظ کریں۔ اوسط کے ساتھ سب سے سست اور مہنگی کوششیں بھی دیکھیں، کیونکہ وہی صارف کے انتظار اور عملی بجٹ کو متاثر کر سکتی ہیں۔

اجرا کا فیصلہ واضح شرط کی شکل میں لکھیں: لازمی کام مطلوبہ تسلسل سے مکمل ہوں، سنگین ممنوع اقدام سامنے نہ آئے، اور وقت و روپے کی حد برقرار رہے۔ کسی شرط میں ناکامی کے بعد متعلقہ مسئلہ درست کریں اور مقررہ مجموعہ دوبارہ چلائیں۔ اگر کام انسانی گفتگو پر منحصر یا تیزی سے بدلنے والا ہے تو محدود حقیقی استعمال میں انسانی نگرانی اور نئے ریکارڈ کا جائزہ بھی فیصلے کا حصہ بنائیں۔

یہ بھی پڑھیں:

• CVSS 10 اکیلا patch order نہیں، KEV اور affected version پہلے دیکھیں
• Safepay یا PayFast؟ کم شرح نہیں، سیٹلمنٹ پہلے فیصلہ کرے گی
• Mutual fund factsheet پڑھیں—زیادہ return سے پہلے فیس اور خطرہ دیکھیں