RAG ali fine-tuning: sveži podatki in vedenje zahtevajo različni poti

Če mora pomočnik odgovarjati iz internih dokumentov, ki se spreminjajo, ali navesti podlago za odgovor, je praviloma izhodišče RAG: ob vprašanju pridobi ustrezne odlomke in jih doda kontekstu modela. Če model pravilen kontekst že ima, a še vedno nedosledno izvaja zahtevano nalogo, lahko pomaga dodatno učenje na primerih. OpenAI-jeva tehnična razlaga razlikuje med napako pri pridobivanju konteksta in napako v naučenem vedenju ter dopušča uporabo obeh pristopov skupaj.

Izbiro zato vežite na konkretne spodletele odgovore. Pri vsakem ugotovite, ali je bil potreben podatek sploh med odlomki, ki jih je model prejel, in ali je model ob pravilnem odlomku sledil zahtevanim navodilom. Tako se pokaže, ali bo največ prinesla boljša zbirka virov, boljši poziv ali učenje vedenja.

Napaka v znanju ali napaka v vedenju?

Recimo, da interni pomočnik napačno povzame veljaven pravilnik. Če prave različice dokumenta ni med pridobljenimi odlomki, je treba popraviti dostop do vira, iskanje, razdelitev besedila ali izbiro zadetkov. Učenje na odgovorih iz stare različice pravilnika bi zahtevo po veljavnem dokumentu pustilo nerešeno. Enako velja, kadar je informacija razpršena po več dokumentih, sistem pa v kontekst vključi le enega.

Drugačna napaka nastane, ko je pravilen odlomek priložen, odgovor pa vseeno izpusti obvezno polje, napačno razvrsti korake ali ne uporabi predpisane oblike. Najprej preverite jasnost navodil in primere v pozivu. Če se enaka napaka ponavlja na različnih vprašanjih kljub dobremu kontekstu in popravljenim navodilom, je dodatno učenje razumen kandidat. Takšna diagnoza je natančnejša od ene skupne ocene pravilnosti, ki skrije vzrok napake.

Svežina in navedbe govorijo v prid pridobivanju virov

RAG ohranja dokumente zunaj uteži modela in jih pridobi med pripravo posameznega odgovora. Posodobitev pravilnika zato zahteva osvežitev izvorne zbirke in iskalnega indeksa, ne ponovnega učenja modela. Odgovor bo svež le toliko, kolikor sta sveža vir in indeks: če sistem še vedno išče v stari različici, ga sam mehanizem RAG ne bo popravil. Pri občutljivih internih podatkih mora iskanje upoštevati tudi pravice uporabnika do posameznega dokumenta.

AWS-jeva primerjava pristopov za vprašanja o lastnih dokumentih priporoča začetek z RAG, posebej kadar se dokumenti pogosto spreminjajo ali je potreben sklic na vir. Dodatno učenje lahko spremeni način odgovarjanja, samo po sebi pa ne zagotovi navedbe konkretnega veljavnega odlomka. Za pomočnika, ki mora uporabniku pokazati, od kod prihaja trditev, je sledljivost vira del zahteve.

Ta sledljivost je odvisna od zasnove izvajanja. Dokumentacija Amazon Bedrock Knowledge Bases loči operacijo za pridobivanje odlomkov od postopka, ki pridobivanje združi z ustvarjanjem odgovora in navedbami posameznih delov vira. Kljub navedbi lahko odgovor napačno razloži pravi odlomek ali citira soroden, a neveljaven dokument. Zato kakovost iskanja, pravilnost odgovora in ustreznost navedbe ocenjujte ločeno.

Kdaj je učenje na primerih smiselno

Fine-tuning je primernejši za stabilno, ponavljajočo se nalogo, pri kateri znate pokazati pravilne vhodne in izhodne primere. Takšna naloga je lahko razvrščanje zahtevkov, dosledna oblika strukturiranega odgovora ali uporaba priloženega konteksta po določenem postopku. Če se spreminjajo predvsem dejstva v dokumentih, jih je treba še vedno dovajati iz aktualnega vira; učni primeri namreč niso zanesljiv nadomestek za iskanje veljavne vsebine.

Primeri za učenje morajo biti podobni dejanski uporabi. Če bo model v produkciji prejemal odlomke iz iskalnika, naj jih vsebujejo tudi učni primeri; sicer se nauči drugačne naloge. Vprašanja za končno oceno naj bodo ločena od učnih, da izboljšanja na znanih primerih ne zamenjate za boljše delo na novih. Pred dodatnim učenjem primerjajte tudi izboljšan poziv, saj je lahko vedenjska napaka posledica dvoumnega navodila.

Vzdrževanje nato poteka po drugem ritmu kot pri zbirki virov. Spremenjen pravilnik zahteva osvežitev dokumentov in indeksa; spremenjena pravila odgovarjanja lahko zahtevajo popravek učnih primerov, nov učni cikel in ponovno oceno prejšnjih nalog. Če sistem potrebuje oboje, naj pridobivanje zagotavlja aktualna dejstva, učenje pa obravnava dokazano ponavljajočo se vedenjsko napako. Kombinacija je smiselna le, če izboljšanje pretehta dodatno zapletenost.

Odločitveno drevo: dokumenti, promet in citati

• Če se interni podatki spreminjajo ali mora vsak odgovor pokazati dokument, začnite pri RAG. Določite dopustno zamudo med spremembo vira in njegovo vključitvijo v iskanje.
• Če so pridobljeni podatki pravilni, a je oblika ali postopek odgovora nedosleden, popravite navodila in nato primerjajte dodatno učenje z izboljšanim pozivom na istih vprašanjih.
• Če se pojavljata obe vrsti napak, merite pridobivanje in vedenje ločeno. Preizkus kombinacije ima smisel šele, ko posamezna sprememba pokaže svojo korist.
• Če pričakujete velik promet, upoštevajte porazdelitev začetnega stroška učenja med več zahtevkov in morebitne prihranke pri dolžini poziva. Pri majhnem prometu lahko priprava primerov in ponovno učenje prevladata nad prihrankom posameznega klica.

Merilo je uspešno rešeno vprašanje, ne zgolj tehnično pravilno izveden klic. Zabeležite, koliko odgovorov lahko uporabnik sprejme brez popravka, koliko časa vzame preverjanje navedb in kolikokrat mora poiskati drug vir ali ponoviti vprašanje. V primerjavo vključite tudi delo za posodabljanje zbirke, učnih primerov in pravil dostopa.

Zakaj je lahko dražji klic cenejša rešitev

V raziskavi na dveh avtomobilskih zbirkah BMW Group je osnovna konfiguracija pri zahtevnejših zapisih o kakovosti vozil dosegla ocenjenih 1,43 USD na uspešno rešeno nalogo, medtem ko so avtorji za ročno rešitev predpostavili 1 USD. To sta vrednosti iz njihovega stroškovnega modela, ne univerzalni ceni za podjetja. V izračun so vključili ustvarjanje in preverjanje odgovorov, ponovne poskuse ter možnost, da nalogo nazadnje opravi človek.

Pri preizkušenih povezavah modelov in avtomobilskih zbirk je pridobivanje virov povečalo strošek izvajanja posamezne poizvedbe, vendar je boljša točnost zmanjšala pričakovano človeško delo. Manjši odprti modeli so ob RAG pri teh podatkih dosegli kakovost, primerljivo z večjimi lastniškimi modeli. Vprašanja v raziskavi so bila ustvarjena iz nejavnih izvornih podatkov, pravilnost odgovorov pa je ocenjeval model; rezultata zato ni mogoče brez merjenja prenesti na drugačno zbirko ali način dela.

Promet spremeni računico: strošek priprave in učenja se pri pogosti uporabi razporedi na več nalog, iskanje in daljši kontekst pa nastaneta pri vsakem odgovoru. Kjer navedbe skrajšajo človeško preverjanje, je to lahko večji prihranek od razlike v ceni modelskega klica. Kjer vedenjsko učenje omogoči krajši poziv brez padca kakovosti, se lahko izplača pri dovolj ponovitvah. Končna izbira je konfiguracija, ki odpravi ugotovljeno vrsto napake ob najnižjem strošku sprejemljive rešitve.

Preberite tudi:

• Buzzsprout ali Podbean: dolžina epizod lahko odloči pred ceno
• Sentry ali Datadog: isti incident lahko ustvari dva različna računa
• ChatGPT Plus ali Claude Pro: enaka cena skriva različne omejitve