RAG eller finjustering? Fejlvalget gør virksomhedens viden forældet

Hvis ofte ændrede virksomhedsoplysninger alene lægges i en finjusteret model, kan svarene bygge på en gammel version, indtil modellen trænes igen. Vælg RAG til viden, som skal hentes fra aktuelle dokumenter og kunne spores til dem; vælg finjustering til en stabil svarform eller opgave. Microsofts vejledning om RAG skelner mellem hyppigt ændrede data og ændret modeladfærd.

Har løsningen brug for både aktuelle fakta og en bestemt måde at svare på, kan metoderne kombineres. Det afgørende spørgsmål er, hvor fejlen opstår: Finder modellen ikke den nødvendige oplysning, eller bruger den en korrekt oplysning på den forkerte måde? Svaret bestemmer, hvad der skal opdateres og måles.

Hvor hurtigt skal en ændring nå frem til svaret?

RAG søger efter relevante passager i en ekstern samling, når et spørgsmål stilles, og giver dem til modellen sammen med spørgsmålet. Det passer til eksempelvis interne procedurer og produktvilkår, der kan ændre sig mellem to modelopdateringer. En rettelse virker dog først, når den godkendte udgave er indlæst, indekseret og bliver fundet ved søgningen. Opdateringshastigheden er derfor tiden fra godkendt ændring til et svar, der faktisk bruger den nye passage.

Skal et faktuelt svar kunne efterprøves, må henvisningen føre til den passage, som bærer påstanden. Dokumenttitel, udgave og adgangsrettigheder bør følge passagen gennem søgning og svar, så en medarbejder kan se, hvilket grundlag der blev brugt. RAG gør den forbindelse mulig, men en henvisning til en udløbet udgave eller et uvedkommende afsnit giver falsk tryghed.

Hvornår er finjustering den rette investering?

Finjustering ændrer modellens parametre ved træning på eksempler. Den er relevant, når en grundmodel trods klare instruktioner gentagne gange fejler på en stabil opgave: Den klassificerer sager inkonsekvent, bryder et krævet outputformat eller anvender ikke en fast terminologi. aiArchs tekniske sammenligning anbefaler at skelne mellem manglende viden og manglende adfærd og at afprøve instruktioner før finjustering.

En finjusteret model får ikke automatisk adgang til nye dokumenter. Bruges træningen som eneste vej til ændrede vilkår, kræver hver opdatering nye eksempler, træning og kvalitetstest, før den kan slå igennem. Finjustering giver heller ikke i sig selv en kontrollerbar kildehenvisning. Til gengæld kan en indlært svarform mindske behovet for lange instruktioner ved hver forespørgsel, hvis formen forbliver den samme.

Svartid og drift afhænger af hele kæden

RAG føjer søgning og hentede tekstpassager til en forespørgsel. Det kan øge svartid og forbrug, men omfanget afhænger af søgningen, mængden af tekst og den valgte model. Et hurtigt opslag er heller ikke en fordel, hvis det henter den forkerte udgave. Mål derfor tiden fra spørgsmål til færdigt svar sammen med andelen af svar, der bygger på den rigtige passage.

Finjustering flytter noget arbejde til udvælgelse af træningseksempler og test af en ny modelversion. En kortere prompt kan gøre selve kaldet hurtigere, men gevinsten kan ikke udledes af metoden alene. For samme opgave bør sammenligningen omfatte hele svartiden, kvaliteten af svaret og arbejdet med at gennemføre en ændring. En løsning med lav latenstid opfylder stadig ikke behovet, hvis fakta bliver forældede.

Et beslutningstræ med målbare krav

Fastlæg først, hvor længe virksomheden kan acceptere, at et godkendt dokument og et AI-svar er ude af trit. Fastlæg også, om hvert faktuelt svar skal kunne knyttes til en gældende passage, og hvilken svarform opgaven kræver. En grænse som »inden næste arbejdsdag« er et muligt internt krav, ikke en egenskab ved RAG. Brug derefter de samme spørgsmål og acceptkrav, når løsningerne sammenlignes.

1. Ændrer den nødvendige viden sig ofte? Mål tiden fra godkendt ændring til den nye passage kan genfindes og bruges i et korrekt svar. Er den tilladte forsinkelse kortere end en realistisk træningscyklus, peger valget mod RAG.
2. Skal fakta kunne spores? Mål andelen af faktuelle svar, hvor henvisningen fører til den rigtige, gældende passage. Er sporbarhed et krav, skal søgning, versionsstyring og henvisninger indgå i løsningen.
3. Er det adfærden, der svigter? Afprøv klare instruktioner og eksempler på et repræsentativt testsæt. Fortsætter fejl i format, terminologi eller klassifikation, er finjustering en kandidat; mål fejlandelen mod grundmodellen.
4. Kan valget drives over tid? Mål samlet svartid, omkostning pr. løst opgave og arbejdet ved en kilde- eller modelændring. En hybrid er relevant, når både faktuelle og adfærdsmæssige krav består efter de særskilte tests.

Når nye vilkår kræver en fast svarform

Forestil dig som et betinget eksempel en kundeservicefunktion med løbende ændrede, godkendte vilkår og et fast krav til svarets struktur. RAG kan hente det aktuelle vilkår og bevare forbindelsen til den relevante passage. Hvis instruktioner ikke får modellen til konsekvent at bruge den krævede struktur, kan finjustering forme svaret ud fra det hentede indhold. De ændrede fakta ligger fortsat i dokumenterne.

De to dele har forskellige vedligeholdelsesrytmer. Dokumentejeren godkender kilden, mens driften sørger for, at den nye udgave kan findes, og at adgangsrettigheder respekteres. Modellens adfærd må genvurderes, når opgaven, svarformen eller den målte kvalitet ændrer sig. Selv en konsekvent svarform hjælper ikke, hvis søgningen leverer et forkert vilkår; i den situation skal fejlen findes før selve formuleringen.

Test søgning og svar hver for sig

En samlet kvalitetsscore kan skjule, om fejlen ligger i dokumentfundet eller i modellens brug af det. Et testsæt til RAG bør rumme spørgsmål med kendte kilder, nyligt ændrede oplysninger og spørgsmål uden et dækkende dokument. Mål først, om den rigtige passage hentes; mål derefter, om svaret holder sig til passagen og henviser korrekt. Microsofts oversigt over RAG-evaluering skelner tilsvarende mellem vurdering af dokumenthentning og vurdering af det færdige svars forankring og relevans.

Finjustering bør sammenlignes med grundmodellen på nye eksempler, som ikke indgik i træningen, både for opgavens korrekthed og for overholdelse af svarformen. I et studie af flertrins-spørgsmål på tre åbne modeller og to datasæt gav RAG tydelige forbedringer ved tidsmæssigt ny viden, mens superviseret finjustering opnåede den højeste samlede nøjagtighed i de undersøgte tests. Det resultat angår de testede opgaver; virksomhedens valg afhænger af, om dens egne spørgsmål kræver nye kilder, en mere stabil adfærd eller begge dele.