RAG eller finjustering: oppslag for nye fakta

Skal en språkmodell svare på faktaspørsmål fra virksomhetens dokumenter, er RAG det best underbygde utgangspunktet. En kontrollert studie av kunnskapstilførsel fant at oppslag ga bedre resultater enn uovervåket finjustering på de undersøkte faktaspørsmålene, både om kunnskap modellene kunne ha møtt før, og om nye hendelser. Forsøket gir grunn til å velge dokumentoppslag når målet er faktasvar, men rangerer ikke metodene for alle oppgaver.

Skillet går mellom informasjonen modellen trenger, og måten den bruker informasjonen på. Med RAG hentes relevante utdrag når spørsmålet stilles; finjustering endrer modellens vekter gjennom trening. Oppslag passer derfor når fakta skal kunne oppdateres og knyttes til dokumenter. Finjustering kan være mer relevant når modellen får riktig grunnlag, men stadig svarer i feil stil, format eller mønster.

Hva sammenligningene faktisk viser

En SIGIR-AP-studie av tolv språkmodeller fant at RAG slo finjustering med stor margin på faktaspørsmål om lite omtalte emner, særlig de minst populære. Forskerne brukte Wikipedia-tekster som grunnlag for både syntetiske spørsmål og svar til finjustering og dokumenter til oppslag. Dermed dreier sammenligningen seg om ulike måter å gi modellen tilgang til et bestemt kunnskapsgrunnlag på, ikke om å bytte til en større modell.

Forsøkene omfattet ulike former for trening. I den første studien ble modellen trent videre på tekst uten fasitsvar; i den andre ble den blant annet finjustert med syntetiske spørsmål og svar. Fellesresultatet er relevant for virksomheter som vil tilføre faktakunnskap, men oppgavene var kontrollerte spørsmål med tilgjengelige kildetekster. Et internt arkiv med ufullstendige, motstridende eller utilgjengelige dokumenter kan gi et annet resultat.

Når oppdateringer og kildebelegg avgjør

Hvis rutiner, vilkår eller produktinformasjon endres ofte, er det enklere å oppdatere et dokumentgrunnlag enn å lære modellen hver endring på nytt. AWS’ veiledning om RAG og finjustering peker på hyppige dokumentendringer som en ulempe ved finjustering og anbefaler oppslag som startpunkt for spørsmål som skal vise til egne dokumenter. For en virksomhet betyr det at gjeldende versjon må kunne finnes i søket; en oppdatert fil hjelper lite hvis en eldre versjon fortsatt rangeres høyest.

Kildebelegg gjør også forskjellen synlig for den som skal bruke svaret. Et RAG-system kan vise hvilket utdrag svaret bygger på, slik at en leser kan kontrollere formuleringen mot dokumentet. En modell som bare er finjustert på de samme tekstene, har ikke en tilsvarende kobling fra hvert svar tilbake til treningsgrunnlaget. Kildehenvisningen er likevel ingen garanti: Utdraget kan være relevant for spørsmålet uten å støtte akkurat den påstanden modellen skriver.

God gjenfinning er en del av resultatet

RAG virker bare når søket bringer riktig informasjon inn i modellens kontekst. I forsøket om lite omtalt kunnskap hang bedre gjenfinning sammen med bedre svar, og resultatet endret seg med søkemetoden. Det er en vesentlig grense for å overføre forskningsresultatet til virksomhetens egne dokumenter: Kvaliteten på arkivet, inndelingen av tekst og rangeringen av treff er del av løsningen som sammenlignes.

Tenk på et spørsmål om en gjeldende returregel, der arkivet inneholder både ny regel og en eldre veiledning. Dette er et tenkt eksempel: Hvis søket henter den gamle veiledningen, kan modellen formulere et klart svar med feil grunnlag. Hvis riktig avsnitt hentes, men svaret likevel blir galt, ligger problemet nærmere modellens bruk av utdraget. Dette skillet er nyttig ved valg av investering: bedre søk løser ikke nødvendigvis svak svaratferd, mens mer trening ikke henter frem et dokument søket overser.

Når finjustering svarer på et annet behov

Finjustering blir aktuell når relevant kunnskap allerede er tilgjengelig, men modellen ikke følger ønsket svarmønster konsekvent. OpenAIs veiledning om modellnøyaktighet skiller mellom manglende eller utdatert kontekst og problemer med format, tone eller konsekvent atferd. Det gir et mer presist valg enn å behandle alle feil som mangel på faktakunnskap.

Treningsdataene må da vise atferden man ønsker: realistiske spørsmål sammen med svar i riktig form. En mappe med fagtekster er et annet datagrunnlag enn eksempler på hvordan henvendelser skal besvares. Hvis eksemplene spriker, lærer modellen også av spriket. Tydelige instruksjoner og noen representative eksempler i forespørselen kan først vise om problemet lar seg løse uten trening; finjustering er mest meningsfull når et vedvarende mønster gjenstår.

Metodene kan brukes sammen når virksomheten trenger både oppdatert innhold og en fast svarmåte. Da bør finjusteringen vurderes ut fra hvordan modellen behandler det den får, mens oppslaget vurderes ut fra hvilke tekster det finner. En god kombinasjon forutsetter at begge deler fungerer; finjustering alene gjør ikke et foreldet dokument korrekt.

Datakvalitet og drift påvirker valget

Begge metoder krever vedlikehold, men på forskjellige steder. RAG krever arbeid med dokumenter, tilgang, indeksering, søk og utdragene som sendes til modellen ved hvert spørsmål. Finjustering krever egnede treningseksempler, evaluering og ny trening når ønsket atferd endres. Derfor finnes ingen generell prisvinner uten å kjenne dokumentmengde, endringstakt, trafikk og krav til svartid.

Uklare dokumentversjoner og motstridende rutiner bør ryddes opp før metodene sammenlignes. I et oppslagssystem kan en gammel tekst bli hentet frem; i et treningssett kan motstridende svar bli eksempler modellen forsøker å etterligne. Tilgangsstyring betyr også noe: Et dokument som finnes i virksomheten, er ikke nødvendigvis et dokument alle brukere skal kunne få svar fra. Valget av teknikk må derfor bygge på hvilket materiale systemet faktisk får bruke.

Beslutningen begynner med feilen som skal løses

Spør først om modellen mangler et faktagrunnlag, eller om den håndterer et tilgjengelig grunnlag feil. For spørsmål om bestemte opplysninger i virksomhetens tekster peker forskningen mot RAG som første valg, særlig når emnet er lite omtalt. Endres opplysningene ofte eller må svaret kunne spores, blir begrunnelsen sterkere. Da er den avgjørende prøven om søket finner riktig og gjeldende avsnitt for spørsmålene virksomheten faktisk får.

Hvis riktig informasjon allerede ligger i forespørselen, men svarene varierer i tone, struktur eller fremgangsmåte, er instruksjoner og deretter finjustering mer treffende tiltak. Kreves begge deler, kan oppslag levere innholdet mens en tilpasset modell følger ønsket svarmåte. Beslutningen styres dermed av hva som svikter: tilgangen til fakta, kvaliteten på kildene eller modellens atferd når fakta er på plass.

Les også: