RAG või peenhäälestus: eri lahendus faktidele ja stiilile

Kui vastus peab tuginema sageli muutuvale ettevõtteteabele, alusta RAG-ist: süsteem otsib asjakohased dokumendilõigud vastamise hetkel. Kui vajalikud faktid on olemas, kuid mudeli toon, vorm või ülesande täitmine kõigub, kaalu peenhäälestust. AWS-i arhitektuurijuhend käsitleb neid ka kombineeritavate meetoditena.

Otsustav küsimus on, kas muuta vastuse aluseks olevat teavet või mudeli harjumust sellele vastata. Kui vaja on mõlemat, saab peenhäälestatud mudel kasutada RAG-iga leitud materjali. Sellist lahendust tuleb võrrelda ka otsingu viiteaja ja lisanduvate tokenite järgi: parem vastus ei pruugi olla kiireim ega odavaim.

Värsked faktid vajavad ajakohast teadmusallikat

RAG sobib küsimustele, mille õige vastus võib koos dokumendiga muutuda, näiteks tugijuhise uue versiooni või tootekataloogi tingimuste tõttu. Otsing valib küsimusega seotud lõigud ja annab need mudelile vastuse koostamiseks. Dokumendi muutumisel saab uuendada teadmusbaasi, ilma et mudeli kaale tuleks iga kord uuesti kohandada; vastusele saab lisada viite kasutatud dokumendile.

See eelis sõltub otsingu kvaliteedist. Kui indeksis on aegunud versioon, tekst on jaotatud ebasobivateks lõikudeks või vajalik teave paikneb mitmes dokumendis, võib mudel vastata ladusalt vale või puuduliku alusmaterjali põhjal. Seetõttu tuleb RAG-i puhul eristada kahte viga: kas õige teave leiti üles ja kas vastus tugines sellele õigesti.

Peenhäälestus võib parandada kitsas valdkonnas antavaid vastuseid, kuid sageli muutuvat faktikogu on raske hoida ajakohasena üksnes mudeli treeningandmete kaudu. Iga muudatus eeldab uute andmete ettevalmistamist, kohandamist ja tulemuse kontrolli. Mudeli enesekindel sõnastus ei näita ka seda, millisest dokumendiversioonist konkreetne väide pärineb.

Stiil ja ülesande täitmine on teine probleem

Peenhäälestus on asjakohasem siis, kui soovitud tulemus on püsiv käitumine: ühtlane vastamisviis, kindel väljundvorm või kitsalt määratletud ülesande järjekindlam täitmine. Juhendatud peenhäälestuseks on vaja näiteid sisenditest ja soovitud vastustest, mitte lihtsalt suurt hulka ettevõtte dokumente. Näidete valik peab katma ka olukorrad, kus sobiv vastus on lühike või kus vajalikku teavet ei ole.

RAG võib anda mudelile õige lõigu, kuid lõik ei õpeta talle automaatselt sobivat tooni ega väljundi struktuuri. Samuti ei paranda peenhäälestatud toon puuduvat või aegunud alusfakti. Kui klienditoe vastus peab järgima kindlat suhtlusviisi ja tuginema kehtivale juhisele, täidavad meetodid samas vastamisahelas eri ülesandeid.

Otsustusmaatriks: mida valikul mõõta

Värskus, vastamisviis ja kasutuskulu annavad eri olukordades erineva vastuse. Järgmised kriteeriumid aitavad valida võrreldavad variandid, kuid ei ennusta ette konkreetse mudeli tulemust.

Teadmise värskus. Kui alusdokumendid muutuvad sageli ja vastus peab kajastama kehtivat versiooni, eelista RAG-i. Kui ülesanne ja vastuse vorm püsivad, on peenhäälestust lihtsam põhjendada.
Stiil ja järjekindlus. Kui samade õigete faktide põhjal saadud vastused erinevad soovimatus vormis või toonis, võrdle selge juhise mõju peenhäälestusega. Kui faktid tuleb samal ajal dokumentidest tuua, lisa võrdlusse nende ühendus.
Viiteaeg. RAG lisab otsinguetapi, kuid mudeli tööaega mõjutavad ka leitud teksti pikkus ja vastuse maht. Kasutaja jaoks loeb kogu päringu kestus, sealhulgas otsing ja vastuse genereerimine.
Tokenikulu ja kogukulu. Leitud lõigud kasvatavad sisenditokenite hulka. Peenhäälestatud mudel võib töötada lühema juhisega, kuid võrdlusse kuuluvad ka treenimise, mudeli majutamise ning teadmiste uuendamise kulud.
Hindamine. Faktiküsimustes mõõda vastuse õigsust ja viite sobivust; stiiliülesannetes hinda vormi ning tooni eraldi. Üks koondhinne võib peita paranduse ühes mõõtmes ja halvenemise teises.

Amazon Nova katse näitab võitu ja selle piire

AWS-i Amazon Nova juhtumiuuringus parandasid RAG ja peenhäälestus kumbki Nova Lite’i vastuse kvaliteedile antud keskmist mudelihindaja skoori baasmudeliga võrreldes 30%, nende ühendamine aga 83%. Need on suhtelised muutused AWS-i teenuseid puudutavate vastuste skooris, mitte faktitäpsuse protsendid. Hindamisel kasutati kümmet testküsimust; juhendatud peenhäälestuseks valmistati tuhat küsimuse-vastuse paari ning RAG kasutas AWS-i dokumentidest ja blogidest leitud materjali.

Samas katses vähenes nii Nova Micro kui ka Nova Lite’i vastuse genereerimise viiteaeg peenhäälestusega ligikaudu poole võrra ja RAG-iga umbes 30%. Peenhäälestatud mudelite keskmine sisend- ja väljundtokenite koguarv kahanes üle 60%, RAG-i korral aga enam kui kahekordistus, sest päringule lisati leitud kontekst. Need arvud kirjeldavad katse konkreetseid seadistusi. Genereerimisaja põhjal ei saa veel otsustada, kui kaua kestab kogu kasutajapäring koos otsinguga.

Miks uurimistöö ei kuuluta sama võitjat

Ovadia ja kaasautorite teadustöös edestas RAG järelevalveta peenhäälestust faktiteadmiste meenutamisel nii varem õpitud kui ka uue teabe puhul. Katsed hindasid valikvastustega faktiküsimuste täpsust, sealhulgas küsimusi mudelite treeningandmetest hilisemate sündmuste kohta. Nova katses seevastu kasutati juhendatud peenhäälestust küsimuse-vastuse paaridega ning hinnati loodud vastuseid mudelihindajate abil. Erinevad treeningviisid, ülesanded ja mõõdikud ei anna alust nende tulemuste põhjal üht üldist paremusjärjestust koostada.

Ka meetodite ühendamise mõju sõltus selles uurimistöös ülesandest: mõnes katses parandas peenhäälestatud mudeli kasutamine RAG-i tulemust, hilisemate sündmuste küsimustes jäi ühendus üksnes RAG-ile alla. Kombinatsioon on seega eraldi hinnatav variant, mitte kindel kvaliteedivõit. Eriti oluline on kontrollida, kas soovitud vormis vastus jääb truuks leitud dokumendile.

Võrdle variante sama ülesande peal

Kui eesmärk on valida toote jaoks lahendus, võrdle baasmudelit, RAG-i, peenhäälestatud mudelit ja vajaduse korral nende ühendust sama küsimuste hulga peal. Kasuta küsimusi, mida kasutajad võiksid tegelikult esitada, ning dokumente, mille kehtiv versioon on teada. Hoia hindamisel lahus fakti õigsus, viite sobivus, soovitud vastamisviis, kogu päringu viiteaeg ja tokenikulu.

Kui RAG leiab õige teabe ja mudel vastab sobivas vormis, ei pruugi lisatreening anda piisavat väärtust. Kui teave on õige, kuid vastus kaldub järjekindlalt soovitud vormist kõrvale, on peenhäälestusel selge katsetamise põhjus. Ühendatud lahendus on põhjendatud siis, kui sama võrdlus näitab vajadust nii ajakohase allikateabe kui ka püsivama vastamisviisi järele ning kvaliteedivõit õigustab lisakulu.

Loe ka: