RAG ar modelio derinimas: naujoms žinioms reikia ne to paties sprendimo

Jei DI sistema turi atsakyti pagal dažnai keičiamus vidinius dokumentus ir parodyti, kuo rėmėsi, pradėkite nuo paieška papildyto generavimo (RAG). Jei reikia keisti atsakymų stilių, formatą ar užduoties atlikimą, svarstykite modelio derinimą. AWS techninės gairės rekomenduoja RAG kaip pradinį pasirinkimą klausimams apie organizacijos dokumentus, kai atsakyme reikia nurodyti šaltinį.

Metodus galima jungti: paieška pateikia aktualų turinį, o derintas modelis padeda jį apdoroti pagal pastovius atsakymo reikalavimus. Vien dokumentų turėjimas dar nėra priežastis derinti modelį. Pasirinkimą lemia tai, ar keičiasi žinios, ar būtina parodyti jų šaltinį ir ar iš tiesų reikia išmokyti modelį kitokios elgsenos.

Sprendimų medis: keturi klausimai

Šie klausimai atskiria dokumentų paieškos užduotį nuo modelio elgsenos keitimo. Juos verta taikyti konkrečiai sistemai: personalo taisyklių paieškai ir vienodo formato atsakymų rengimui gali reikėti skirtingų dalių, nors abi užduotys naudoja tuos pačius dokumentus.

1. Ar žinios dažnai keičiasi? Jei procedūros, kainynai ar taisyklių versijos reguliariai atnaujinamos, rinkitės RAG ir numatykite, kaip pakeitimai pateks į paiešką. Atnaujintas dokumentas savaime nepakeičia derinto modelio svorių. Net jei dokumentai stabilūs, derinimas tampa prasmingas tik tada, kai yra atskiras tikslas keisti modelio atliekamą užduotį ar atsakymo būdą.
2. Ar būtinos patikrinamos citatos? RAG gali perduoti modeliui rastą ištrauką kartu su dokumento pavadinimu, nuoroda ar kitu šaltinio identifikatoriumi. Tada atsakymą galima susieti su konkrečia dokumento vieta. Tačiau vien pateikta citata negarantuoja teisingumo: paieška turi rasti tinkamą versiją, o sugeneruotas teiginys turi atitikti rastą tekstą. Vien iš derinto modelio atsakymo jo panaudoto dokumento nustatyti negalima.
3. Ar reikia keisti elgseną? Nuoseklus tonas, reikiama atsakymo struktūra ar pasikartojančios užduoties atlikimas yra derinimo tikslai. Microsoft Foundry derinimo gairės tokius tikslus sieja su kokybiškais užklausų ir pageidaujamų atsakymų pavyzdžiais. Prieš rengiant mokymo rinkinį prasminga įvertinti, ar norimą formatą jau užtikrina aiški instrukcija įprastoje užklausoje.
4. Ar turite gerų mokymo pavyzdžių? Derinimui reikia tikslių, nuoseklių įvesties ir pageidaujamos išvesties porų, atspindinčių tikras užduotis. Dokumentų rinkinys be sutarto teisingo atsakymo pavyzdžių šio poreikio nepatenkina. Jei pavyzdžiuose kartojasi klaidos arba jie apima tik lengvus atvejus, modelis gali išmokti netinkamą atsakymo būdą. Tokiu atveju dokumentų paiešką ir atsakymų vertinimo rinkinį galima parengti anksčiau už derinimą.

Jei keičiasi žinios arba atsakymui būtinas dokumento pagrindas, sprendimo pagrindas paprastai yra RAG. Jei norima pakeisti elgseną ir yra reprezentatyvių mokymo pavyzdžių, atsiranda pagrindas modelio derinimui. Teigiami atsakymai į abiejų rūšių klausimus rodo, kad gali prireikti jų derinio.

Prieigos teisės: ką galima perduoti modeliui

Vidinių dokumentų sistemoje tinkama ištrauka turi būti prieinama būtent atsakymą gaunančiam žmogui. Azure AI Search saugos gairės aprašo dokumentų leidimų įrašymą indeksuojant ir rezultatų ribojimą užklausos metu pagal naudotojo tapatybę. Leidimus reikia pritaikyti prieš perduodant rastą turinį modeliui, kad atsakymas neatskleistų neprieinamo dokumento.

Prieigos pakeitimas šaltinyje turi pasiekti ir paieškos kopiją: pasenę leidimų duomenys gali palikti netinkamą rezultatą tarp rastų ištraukų. Todėl dokumentų atnaujinimo tvarka apima ne tik tekstą, bet ir jo prieigos metaduomenis. Modelio derinimas neatlieka kiekvienos užklausos leidimų patikros; jei naudojami abu metodai, ši pareiga lieka paieškai ir ją valdančiai programai. Mokymo pavyzdžiams taip pat reikia atrinkti tik informaciją, kurią leidžiama naudoti modeliui pritaikyti.

Sąnaudos ir rizikos pagal sistemos dalį

RAG sąnaudas sudaro daugiau nei modelio atsakymas. Microsoft Foundry RAG aprašas nurodo paieškos užklausų, tekstinių įterpinių ir papildomų įvesties žetonų sąnaudas bei paieškos pridedamą vėlinimą. Jame taip pat pažymima, kad atsakymo kokybė priklauso nuo dokumentų paruošimo, paieškos nustatymų ir modeliui pateikiamų instrukcijų. Todėl bendrą kainą ir atsakymo laiką reikia vertinti pasirinktoje konfigūracijoje.

• RAG parengimas ir priežiūra. Dokumentus reikia suskaidyti į paieškai tinkamas ištraukas, sukurti indeksą, išsaugoti citavimui reikalingus duomenis ir palaikyti versijų bei leidimų naujumą. Kiekviena užklausa gali apimti paiešką ir ilgesnį modeliui siunčiamą tekstą. Pagrindinė kokybės rizika – nerasta svarbi ištrauka, paimta pasenusi versija arba pagal rastą tekstą suformuluotas nepagrįstas atsakymas.
• Derinimo parengimas ir priežiūra. Reikia surinkti teisingų atsakymų pavyzdžius, juos peržiūrėti, apmokyti modelį ir įvertinti rezultatą. Mokymą gali tekti kartoti keičiantis pageidaujamai elgsenai, duomenims ar baziniam modeliui. Derintas modelis gali leisti trumpinti užklausas, nes jose nebereikia kartoti tiek elgsenos pavyzdžių, tačiau tai savaime nekompensuoja mokymo ir pritaikyto modelio naudojimo išlaidų.
• Abiejų metodų derinys. Prie paieškos ir indekso priežiūros prisideda mokymo rinkinio rengimas bei derinto modelio vertinimas. Derinys turi aiškią paskirtį, kai reikia ir naujų dokumentų, ir pastovaus jų apdorojimo būdo. Jis taip pat paveldi abiejų dalių rizikas: net gerai išmoktas atsakymo formatas neištaiso netinkamai rastos ištraukos.

Sąnaudų skirtumą naudinga skaidyti į pradinį parengimą, nuolatinę priežiūrą ir vienos užklausos kainą. Lyginant tik užklausos žetonus liktų nepastebėtas indekso atnaujinimas ar mokymo pavyzdžių rengimas; lyginant tik įdiegimą – kasdienės paieškos ir modelio naudojimo išlaidos. Tas pats galioja vėlinimui: svarbus visas kelias nuo naudotojo klausimo iki galutinio atsakymo.

Kada metodų derinys turi prasmę

Derinys tinka tada, kai atsakymas turi remtis besikeičiančiais, naudotojui prieinamais dokumentais, bet jo pateikimui keliami pastovūs ir sudėtingi reikalavimai. Sąlyginiame personalo taisyklių pavyzdyje RAG rastų galiojančią, darbuotojui prieinamą taisyklės ištrauką, o derintas modelis padėtų nuosekliai atskirti taisyklę nuo paaiškinimo ir išlaikyti sutartą atsakymo struktūrą. Pasikeitus taisyklei, jos naują versiją vis tiek reikėtų pateikti paieškai.

Papildomas mokymas turi būti siejamas su konkrečiu rezultatu, kurio nepavyksta patikimai gauti vien iš rastų dokumentų ir aiškių instrukcijų. Jei sunkumas yra netiksliai randama ištrauka, reikia gerinti dokumentų paruošimą ar paiešką. Jei tinkama ištrauka randama, tačiau modelis nuolat neteisingai atlieka tą pačią apibrėžtą užduotį, kokybiški pageidaujamų atsakymų pavyzdžiai suteikia pagrindą svarstyti derinimą. Taip kiekvienas metodas sprendžia tą sistemos problemą, kuriai jis skirtas.