RAG یا Fine-tuning؛ دانش تازه با پاسخ دقیق یکی نیست

برای پاسخ‌دادن بر پایهٔ اسناد اختصاصی که تغییر می‌کنند، معمولاً از RAG شروع کنید؛ اگر نیاز اصلی تغییر پایدار سبک، قالب یا رفتار پاسخ است، Fine-tuning را بسنجید. راهنمای AWS شروع با RAG را برای پرسش‌وپاسخ مستند توصیه می‌کند و ریزتنظیم را برای وظایفی مانند خلاصه‌سازی نیز مطرح می‌کند.

اگر سامانه هم باید به اطلاعات تازه استناد کند و هم پاسخ را با شیوه‌ای ثابت بسازد، ترکیب دو روش گزینهٔ قابل‌آزمایش است. معیار انتخاب، نام روش نیست: باید دید مدرک درست به مدل رسیده، پاسخ واقعاً درست و کامل است و هزینهٔ هر درخواست در حجم استفادهٔ موردنظر چقدر می‌شود. دانش تازه، به‌تنهایی، پاسخ دقیق تولید نمی‌کند.

چه چیزی قرار است تغییر کند؟

در RAG، سامانه هنگام دریافت پرسش، بخش‌های مرتبط را از مخزن اسناد بازیابی می‌کند و همراه پرسش به مدل می‌دهد. با تغییر سند می‌توان محتوای قابل‌بازیابی را به‌روز کرد، بی‌آنکه برای هر تغییر مدل دوباره آموزش ببیند. این سازوکار برای پرسشی مناسب است که پاسخ آن به نسخهٔ جاری یک راهنما، سیاست یا فهرست محصول وابسته است.

در Fine-tuning، نمونه‌های آموزشی برای تغییر عملکرد مدل به کار می‌روند؛ مثلاً خروجی را در قالب معینی بنویسد یا در یک وظیفهٔ تکراری از الگوی مطلوب پیروی کند. این تغییر می‌تواند بر پاسخ‌گویی به پرسش‌های تخصصی هم اثر بگذارد، اما جای سند قابل‌شناسایی را نمی‌گیرد. اگر لازم است هر ادعا به نسخه و بخش مشخصی از مدرک برگردد، آن اطلاعات باید در مسیر بازیابی و ارجاع حفظ شود.

این تمایز برای دادهٔ اختصاصی مهم است. یک مجموعه پاسخ نمونه شاید به مدل بیاموزد چگونه با لحن سازمان بنویسد، ولی انتشار نسخهٔ تازهٔ یک مقررات یا تغییر شرایط خدمات، مسئلهٔ دسترسی به واقعیت تازه را ایجاد می‌کند. برعکس، افزودن همان مقررات به نمایهٔ RAG الزاماً مشکل پاسخ‌های طولانی، قالب نامنظم یا رعایت‌نکردن دستور خروجی را حل نمی‌کند.

RAG چه زمانی به سند می‌رسد و چه زمانی جا می‌ماند؟

مزیت RAG زمانی به پاسخ منتقل می‌شود که بازیابی، بخش مرتبط و نسخهٔ درست سند را پیدا کند. اگر متن به قطعه‌های نامناسب شکسته شده باشد، نسخهٔ قدیمی همچنان در نمایه بماند یا اصطلاح پرسش با واژگان سند تطبیق پیدا نکند، مدل ممکن است با زمینه‌ای ناقص پاسخ دهد. روان‌بودن جمله‌ها نشان نمی‌دهد که مدرک کافی در اختیار مدل بوده است.

توضیح Microsoft Foundry دربارهٔ RAG کیفیت پاسخ را وابسته به آماده‌سازی محتوا، تنظیم بازیابی و طراحی درخواست می‌داند و هشدار می‌دهد که بخش‌های نامرتبط یا ناقص می‌توانند به پاسخ نادرست برسند. همان معماری، هزینه و زمان جست‌وجو، ساخت نمایش برداری داده و توکن‌های متن بازیابی‌شده را نیز به مسیر پاسخ اضافه می‌کند. بنابراین فرستادن متن بیشتر به مدل، جای اصلاح بازیابی را نمی‌گیرد.

یک مثال فرضی، راهنمای خدماتی است که برای کاربران چند کشور فارسی‌زبان نسخه‌های متفاوت دارد. سامانه باید پیش از نوشتن پاسخ، کشور و نسخهٔ مربوط را تشخیص دهد و بخش همان سند را بازیابی کند. ریزتنظیمِ لحن پاسخ، انتخاب نسخهٔ نادرست را اصلاح نمی‌کند؛ نمایش ارجاع نیز فقط وقتی مفید است که به همان نسخهٔ استفاده‌شده وصل باشد.

ری‍زتنظیم چه مسئله‌ای را بهتر حل می‌کند؟

وقتی اطلاعات لازم در دسترس است اما پاسخ‌ها پیوسته قالب مطلوب را رعایت نمی‌کنند، خلاصه‌ها سطح جزئیات نامناسبی دارند یا مدل در یک وظیفهٔ پرتکرار رفتار ناپایداری نشان می‌دهد، Fine-tuning ارزش بررسی دارد. برای این کار باید نمونه‌های باکیفیت از ورودی و خروجی مطلوب فراهم شود. کیفیت آن نمونه‌ها بر رفتاری که مدل می‌آموزد اثر مستقیم دارد؛ چند نمونهٔ پراکنده مبنای محکمی برای انتظار عملکرد پایدار نیست.

پیش از آموزش، همان وظیفه را با دستور روشن و چند نمونه در ورودی مدل پایه مقایسه کنید. اگر کیفیت کافی به دست آید، نگهداری نسخهٔ ریزتنظیم‌شده ارزشی به نتیجه اضافه نمی‌کند. اگر مشکل باقی بماند، مدل ریزتنظیم‌شده باید روی پرسش‌هایی سنجیده شود که در نمونه‌های آموزشی نبوده‌اند؛ موفقیت روی نمونه‌های آشنا، درستی پاسخ به پرسش تازه را نشان نمی‌دهد.

ری‍زتنظیم همچنین راهی برای تضمین استناد به منبع نیست. مدل ممکن است پاسخ معقولی از الگوهای آموخته‌شده بسازد، اما نتوان از خود پاسخ تعیین کرد کدام نسخهٔ سند مبنای آن بوده است. در کاری که پاسخ باید قابل‌ممیزی باشد، این تفاوتِ میان تولید پاسخ و نشان‌دادن مدرک، بخشی از تصمیم معماری است.

چه وقت ترکیب دو روش ارزش دارد؟

ترکیب زمانی معنا دارد که هر دو نیاز مستقل وجود داشته باشد: بازیابی مدرک تازه و تولید پاسخ با رفتار تخصصی یا قالب ثابت. در این چینش، RAG متن مرتبط را در زمان پرسش فراهم می‌کند و مدل ریزتنظیم‌شده از آن برای انجام وظیفه استفاده می‌کند. اگر متن درست بازیابی نشود، آموزش بیشتر مدل الزاماً آن خلأ را پر نمی‌کند.

در مطالعهٔ موردی کشاورزی، GPT-4 همراه RAG در ارزیابی پاسخ‌ها با راهنمای مرجع امتیاز ۸۰٪ گرفت؛ در آزمایش جداگانهٔ «دانش تازه»، پاسخ‌های GPT-4 ریزتنظیم‌شده همراه RAG در ۷۴٪ موارد مشابه پاسخ مرجع ارزیابی شدند. این درصدها دو معیار و دو آزمون متفاوت‌اند و مقایسهٔ مستقیمِ برتری روش‌ها نیستند. نتایج به داده‌های کشاورزی و شیوهٔ سنجش همان پژوهش مربوط‌اند؛ برای اسناد حقوقی، پشتیبانی مشتری یا محتوای فارسی باید عملکرد را جداگانه اندازه گرفت.

پژوهش همچنین نشان می‌دهد کیفیت بازیابی به اندازهٔ توان مدل اهمیت دارد: با گسترش مجموعهٔ اسناد، یافتن بخش مرتبط دشوارتر می‌شود. در کاربرد ترکیبی، بنابراین دو خطا را باید از هم جدا کرد: آیا مدرک لازم پیدا شده است و آیا مدل از مدرک پیداشده پاسخ درست ساخته است؟ یک امتیاز کلی پاسخ، محل خطا را روشن نمی‌کند.

هزینه و درستی، انتخاب را چگونه عوض می‌کنند؟

هزینهٔ RAG فقط هزینهٔ مدل زبانی نیست: آماده‌سازی و به‌روزرسانی نمایه، جست‌وجو و متن افزوده‌شده به هر ورودی نیز سهم دارند. Fine-tuning هزینهٔ آماده‌سازی نمونه‌ها، آموزش و نگهداری مدل را اضافه می‌کند؛ هزینهٔ اجرای مدل انتخابی هم باید در همان حجم درخواست محاسبه شود. طول متن بازیابی‌شده و تعداد پرسش‌ها می‌توانند نتیجهٔ مقایسه را تغییر دهند، حتی اگر هزینهٔ اولیهٔ یک گزینه کمتر باشد.

برای مقایسهٔ منصفانه، پرسش‌های یکسان را با مدل پایه، مدل پایه همراه RAG، مدل ریزتنظیم‌شده و در صورت نیاز ترکیب آن‌ها بسنجید. مجموعهٔ پرسش‌ها بهتر است موارد چندسندی، نسخهٔ قدیمی و پرسشی را که پاسخ آن در اسناد نیست نیز دربرگیرد. در این حالت روشن می‌شود کدام روش واقعاً مدرک مناسب را پیدا می‌کند، چه زمانی باید از پاسخ قطعی پرهیز کند و برای هر پاسخ چه مقدار زمان و هزینه صرف می‌شود.

راهنمای ارزیابی Azure اتکا به متن بازیابی‌شده، کامل‌بودن و درستی واقعی پاسخ را معیارهای جداگانه می‌داند: پاسخ ممکن است به متن ارائه‌شده وفادار باشد، اما به‌دلیل برداشت نادرست یا خطای خود سند همچنان غلط باشد. پس برای انتخاب نهایی، هم رسیدن مدرک درست به مدل و هم صحت ادعاهای پاسخ را بسنجید و نتیجه را کنار هزینه و زمان پاسخ قرار دهید.

درخت تصمیم برای دادهٔ اختصاصی

• اگر واقعیت‌ها پیوسته تغییر می‌کنند یا پاسخ باید به سند مشخص ارجاع دهد، از RAG شروع کنید؛ کیفیت بازیابی و نسخه‌بندی اسناد، شرط اصلی این انتخاب است.
• اگر واقعیت‌ها نسبتاً ثابت‌اند و مسئلهٔ اصلی قالب، لحن یا اجرای یک وظیفه است، نخست دستوردهی و سپس Fine-tuning را با پرسش‌های ندیده مقایسه کنید.
• اگر هر دو نیاز وجود دارد، ترکیب را در برابر هر روش به‌تنهایی بسنجید؛ هزینهٔ زمینهٔ بازیابی‌شده و بهبود واقعی درستی پاسخ تعیین می‌کند پیچیدگی اضافه توجیه دارد یا نه.

انتخاب مناسب روشی است که در پرسش‌های نمایندهٔ کار شما به سطح لازمِ درستی و استناد برسد و هزینهٔ آن در حجم استفادهٔ واقعی قابل‌حفظ باشد. افزودن دانش به مسیر پاسخ و آموزش شیوهٔ پاسخ‌دادن دو تغییر متفاوت‌اند؛ نتیجهٔ قابل‌اعتماد زمانی به دست می‌آید که اثر هر تغییر جداگانه دیده شود.

بیشتر بخوانید:

• سهام اولیه یا ثانویه؛ فقط یکی سرمایه را وارد استارتاپ می‌کند
• عامل Gemini وارد محیط کار شد؛ پاسخ‌دادن دیگر پایان کار نیست
• Coursera یا Udemy؛ گواهی قابل‌اشتراک با تمرین عملی یکی نیست