اردو RAG کے لیے embedding چنیں—انگریزی leaderboard کافی نہیں

اردو RAG کے لیے multilingual-e5-large-instruct کو ابتدائی امیدوار رکھیں، حتمی فاتح نہیں۔ MMTEB کی تحقیق میں پانچ سو سے زیادہ کاموں اور ڈھائی سو سے زیادہ زبانوں پر جانچے گئے عوامی ماڈلز میں ۵۶ کروڑ پیرامیٹر والا یہ ماڈل بہترین نکلا؛ یہ نتیجہ آپ کے اردو ذخیرے پر اس کی برتری ثابت نہیں کرتا۔

انتخاب کا فیصلہ انہی پاکستانی سوالات سے کریں جو آپ کے نظام میں آئیں گے۔ ہر امیدوار کے لیے ایک جیسے متعلقہ اقتباسات مقرر کریں، پھر ابتدائی نتائج میں ان کی موجودگی، ترتیب، جواب ملنے کا وقت اور میموری ایک اسکور کارڈ میں درج کریں۔ جس ماڈل کی بازیافت مطلوبہ معیار تک پہنچے اور جو دستیاب وسائل میں چل سکے، وہی موزوں انتخاب ہے۔

عالمی اسکور سے مختصر فہرست کیسے بنے

انگریزی یا تمام زبانوں کا مجموعی اسکور امیدوار چننے میں مدد دیتا ہے، لیکن اردو سوال سے متعلقہ دستاویز ڈھونڈنے کی صلاحیت الگ پیمائش مانگتی ہے۔ MTEB کی کاموں کی تقسیم میں سوال اور دستاویز کے درمیان بازیافت کو درجہ بندی، موضوعاتی گروہ بندی اور معنوی مماثلت سے الگ رکھا گیا ہے۔ RAG کے لیے پہلے بازیافت والے نتائج اور متعلقہ زبان کا احاطہ دیکھیں، پھر ماڈل کو اپنے مواد پر آزمائیں۔

مختصر فہرست میں multilingual-e5-large-instruct کے ساتھ دستیاب مشین پر چلنے والا ایک ہلکا کثیر لسانی ماڈل رکھنا مفید ہے۔ اسی متن پر الفاظ کی بنیاد پر تلاش کرنے والا BM25 بھی شامل کریں؛ وہ ایمبیڈنگ ماڈل نہیں، مگر واضح بنیاد فراہم کرتا ہے۔ اگر مہنگا معنوی ماڈل متعلقہ اقتباس کو BM25 سے بہتر مقام پر نہیں لاتا تو صرف عالمی درجہ اس اضافی خرچ کا جواز نہیں بنتا۔

CURE اردو بازیافت کے بارے میں کیا بتاتا ہے

اردو کی مشترک ابتدائی کسوٹی کے لیے CURE استعمال ہو سکتا ہے۔ CURE کی اصل تحقیق میں ۱٬۰۹۶ اردو دستاویزات اور ۵۰ سوالات ہیں؛ اسی تحقیق میں عام الفاظ کی چھانٹی اور سوال کی توسیع کے ساتھ BM25 کا Recall@50، ۰٫۹۸ اور MAP@50، ۰٫۷۵ درج ہے۔ یہ مکمل آزمائشی ترتیب کا نتیجہ ہے، کسی ایمبیڈنگ ماڈل کا شائع شدہ اسکور نہیں۔

مجموعے کی دستاویزات ایک بڑے ویب ذخیرے سے دو لفظی تلاش کے طریقوں کے نتائج جمع کر کے منتخب کی گئیں، اور ان میں خبروں کا حصہ نمایاں ہے۔ اس وجہ سے CURE اردو بازیافت کی مفید مشترک بنیاد ہے، لیکن سرکاری فارم، قانونی متن یا مختصر صارف سوالات والے ہر نظام کی نمائندگی نہیں کرتا۔ کسی نئے ماڈل کے لائے ہوئے ایسے دستاویز اور سوال کے جوڑے کو، جن پر مطابقت کا فیصلہ موجود نہ ہو، خودکار طور پر غیر متعلق نہ گنیں؛ انہیں انسانی جانچ کے لیے الگ رکھیں۔

اس مجموعے میں مطابقت کا فیصلہ دستاویز کی سطح پر ہے۔ RAG عموماً دستاویز کے اندر سے مختصر اقتباس اگلے مرحلے کو دیتا ہے، اس لیے درست دستاویز ملنے کے باوجود جواب والا حصہ چھوٹ سکتا ہے۔ دستاویزی بازیافت کا اسکور الگ رکھیں اور مقامی آزمائش میں یہ بھی نشان زد کریں کہ واپس آنے والا مخصوص اقتباس سوال کا جواب دینے کے لیے کافی معلومات رکھتا ہے یا نہیں۔

پاکستانی سوالات سے مقامی آزمائش بنائیں

اپنے متوقع استعمال کے موضوعات سے سوالات منتخب کریں اور ہر سوال کے لیے متعلقہ دستاویز یا اقتباس پہلے سے نشان زد کریں۔ مثال کے طور پر، سرکاری خدمات کی تلاش میں ادارے کا پورا نام، رائج مختصر نام اور ایک ہی خدمت کے مختلف اردو املا الگ سوالات بن سکتے ہیں؛ یہ آزمائش کا مشروط خاکہ ہے، شائع شدہ کارکردگی کا دعویٰ نہیں۔ سوالات کی فہرست اور انسانی فیصلے تمام امیدواروں کے لیے یکساں رکھیں۔

سوالات میں آسان لفظی مطابقت کے ساتھ ایسے سوال بھی رکھیں جن میں جواب کا لفظ سوال سے مختلف ہو، یا جواب طویل دستاویز کے درمیان آئے۔ اس طرح معلوم ہوتا ہے کہ ماڈل محض مشترک الفاظ پکڑتا ہے یا مطلوبہ مفہوم تک بھی پہنچتا ہے۔ موضوع کے لحاظ سے نتائج الگ دیکھیں: ایک مجموعی اوسط کسی خاص خدمت، علاقے یا املا پر مسلسل ناکامی چھپا سکتی ہے۔

متن کی تیاری بھی آزمائش کا حصہ ہے۔ اگر ایک امیدوار کو پوری دستاویز اور دوسرے کو چھوٹے اقتباسات دیے جائیں تو ان کے سامنے تلاش کا یکساں مسئلہ نہیں ہوگا۔ اقتباس کی حد، عنوان شامل کرنے کا طریقہ اور خالی یا دہرائے گئے متن کی صفائی مقرر رکھیں؛ طویل سیاق اور RAG کا تقابل اس انتخاب کی الگ جہت واضح کرتا ہے۔

ماڈل کی ہدایات اور اردو ٹوکن دیکھیں

یکساں آزمائش کا مطلب ہر ماڈل پر ایک ہی خام متن زبردستی لاگو کرنا نہیں۔ multilingual-e5-large-instruct کا ماڈل کارڈ سوال کے ساتھ کام کی ایک جملے کی ہدایت مانگتا ہے، بازیافت کی دستاویز کے ساتھ ایسی ہدایت نہیں مانگتا، اور طویل متن کو زیادہ سے زیادہ ۵۱۲ ٹوکن تک محدود کرتا ہے۔ اس ماڈل کو مطلوبہ ہدایت کے بغیر چلانا یا جواب والا حصہ خاموشی سے کاٹ دینا اس کی درست پیمائش نہیں ہوگی۔

اردو میں ٹوکنائزیشن کی خرابی نتیجے کو بدل سکتی ہے۔ ناکام سوالات میں اصل سوال، ماڈل کو ملنے والے ٹوکن اور متعلقہ اقتباس ساتھ دیکھیں: مرکب نام کہاں ٹوٹا، املا کے فرق سے ملان کہاں بدلا، اور کیا جواب حد کے بعد رہ گیا۔ یہ جانچ بتاتی ہے کہ کمی ماڈل کی معنوی بازیافت میں ہے، متن کی تیاری میں ہے یا اقتباس کی لمبائی میں۔

ہر امیدوار کے لیے استعمال شدہ ماڈل نسخہ، سوال کی ہدایت، متن کاٹنے کا قاعدہ اور مماثلت نکالنے کا طریقہ محفوظ رکھیں۔ ورنہ بعد میں بہتر اسکور کی وجہ ماڈل کی تبدیلی تھی یا آزمائشی ترتیب کی، یہ معلوم نہیں ہوگا۔ BM25 کی قطار میں بھی عام الفاظ کی چھانٹی یا سوال کی توسیع جیسی تبدیلی واضح درج کریں تاکہ شائع شدہ ترتیب کو سادہ BM25 کا نتیجہ نہ سمجھ لیا جائے۔

ایک اسکور کارڈ میں معیار اور لاگت

Recall@k بتاتا ہے کہ تمام نشان زد متعلقہ نتائج میں سے کتنے ابتدائی k نتائج میں آئے۔ MAP@k ہر سوال میں متعلقہ نتائج کی ترتیب کو بھی وزن دیتا ہے، پھر سوالات پر اوسط لیتا ہے۔ اگر اگلے مرحلے کو صرف چند اقتباسات ملتے ہیں تو اسی مختصر فہرست پر پیمائش فیصلہ کن ہے؛ بڑی فہرست میں موجود درست جواب عملی طور پر نظام تک پہنچ ہی نہ پائے گا۔

دستاویز اور اقتباس کے اسکور الگ قطاروں میں رکھیں۔ دستاویز مل جانا، اس کے اندر درست اقتباس ملنا اور اقتباس کا جواب کے لیے کافی ہونا تین الگ نتائج ہیں۔ ناکام سوال کے ساتھ مختصر وجہ لکھیں: متعلقہ دستاویز آئی ہی نہیں، نیچے آئی، یا درست دستاویز سے غلط حصہ نکلا۔ یہ فرق بتاتا ہے کہ ماڈل، نتائج کی ترتیب یا متن کی تقسیم میں کس تبدیلی کی ضرورت ہے۔

اسی اسکور کارڈ میں سوال کو ایمبیڈ کرنے کا وقت، تلاش کا وقت، عام اور نسبتاً سست سوالات کی تاخیر، دستاویزات کو پہلی بار ایمبیڈ کرنے کا دورانیہ، چلتے نظام کی میموری اور محفوظ ویکٹرز کی جگہ درج کریں۔ تمام اوقات ایک ہی مشین، یکساں تلاش کی ترتیب اور واضح طور پر درج بیچ حجم پر ناپیں۔ ابتدائی انڈیکس بنانے کی لاگت کو ہر صارف کے سوال کی تاخیر میں نہ ملائیں۔

انتخاب میں پہلے قابلِ قبول بازیافت اور تاخیر کی حد مقرر کریں، پھر ان حدود میں آنے والے امیدواروں کی وسائل کی ضرورت دیکھیں۔ اگر ہلکا ماڈل مقامی سوالات پر مطلوبہ اقتباسات اسی قابلِ قبول معیار سے لاتا ہے تو بڑے ماڈل کا عمومی اسکور فیصلہ نہیں بدلتا۔ اگر BM25 کسی مخصوص قسم کے سوالات میں بہتر رہے تو اس کی قطار محفوظ رکھیں؛ مشترک تلاش آزمانے کا جواز اسی قابلِ شناخت فرق سے پیدا ہوگا۔

یہ بھی پڑھیں:

• RAG یا لمبا سیاق؟ ہر دستاویز پرامپٹ میں ڈالنا ہمیشہ بہتر نہیں
• WhatsApp password، PIN اور passkey ایک چیز نہیں—صحیح تحفظ یوں چنیں
• Qwen LiveTranslate API چلائیں، پہلے Urdu کی output سطح درست چنیں