RAG eller finjustering: ny kunskap talar för hämtning först

Välj RAG först när språkmodellen behöver nya eller föränderliga fakta. Välj finjustering när rätt underlag redan finns men modellen återkommande missar ton, format eller uppgiftsbeteende. I en jämförelse av kunskapsintensiva uppgifter presterade RAG bättre än oövervakad finjustering för både tidigare känd och ny kunskap. Resultatet gäller den träningsmetod och de faktauppgifter som prövades; det avgör inte hur all finjustering fungerar.

Om ett system har båda typerna av fel kan metoderna kombineras: RAG tillför relevant innehåll när frågan ställs, medan finjustering kan göra användningen av innehållet mer konsekvent. OpenAI skiljer i sin vägledning för modelloptimering mellan brister i kontext och brister i beteende och rekommenderar att enklare metoder utvärderas före en kombination. Valet börjar därför med att ta reda på varför de nuvarande svaren blir fel.

Vilket fel behöver lösas?

Utgå från verkliga frågor och definiera vad ett godkänt svar kräver. Märk sedan felen efter orsak: saknas ett nödvändigt faktaunderlag, hämtas fel avsnitt, används ett korrekt avsnitt fel eller varierar svaret trots samma instruktion? Den uppdelningen visar vilken del av systemet som behöver ändras och gör det möjligt att jämföra alternativen med samma testfall.

1. Färsk eller intern kunskap: Börja med hämtning från ett kontrollerat underlag. Mät om rätt avsnitt når modellen vid de frågor där det behövs.
2. Källhänvisningar: Behåll en identifierbar koppling mellan hämtat avsnitt och svar. Kontrollera att hänvisningen stöder just påståendet den står vid; en länk i sig säger inget om sakstödet.
3. Ton, format eller uppgiftsbeteende: Pröva tydliga instruktioner och representativa exempel i prompten. Om rätt underlag finns men samma beteendefel består på separata testfall blir finjustering ett relevant försök.
4. Båda feltyperna: Förbättra hämtning och beteende var för sig innan kombinationen prövas. Annars går det inte att avgöra vilken ändring som gav en förbättring.

RAG när kunskapen ändras eller måste spåras

RAG söker fram innehåll vid förfrågan och lägger det i modellens kontext. Det passar exempelvis interna instruktioner, produktinformation eller ett regelverk som uppdateras oftare än man vill träna om modellen. En ändring kan nå nästa relevanta svar när den nya versionen har förts in i sökunderlaget och faktiskt hittas. Den möjligheten gör hämtning särskilt användbar när det är faktainnehållet, snarare än sättet att formulera sig, som behöver ändras.

Mät hämtning och svar separat. Först: finns avsnittet som behövs bland träffarna, och följer rätt version och behörighet med? Sedan: återger svaret innehållet korrekt, stöder avsnittet varje hänvisat påstående och avstår systemet när underlag saknas? Ett system kan hitta rätt text och ändå lägga till ett obestyrkt påstående. Om de två stegen får ett enda kvalitetsbetyg blir det svårt att se om sökningen eller modellens användning av texten behöver förbättras.

Underhållet ligger till stor del i dokumentflödet. Nya versioner behöver indexeras, gamla versioner tas bort och åtkomstregler tillämpas även vid sökning. Fler textstycken kan öka längden på varje förfrågan och föra in irrelevant innehåll som stör svaret. Vinsten av snabbare kunskapsuppdatering måste därför vägas mot arbete med index, sökkvalitet och den extra kontext som skickas till modellen.

Finjustering när samma beteende ska upprepas

Finjustering är mer träffsäker som metodval när uppgiften kan beskrivas med konsekventa exempel på önskat resultat: en bestämd svensk ton, ett stabilt utdataformat eller ett återkommande sätt att klassificera ärenden. Modellen tränas då på relationen mellan indata och önskat svar. Det kan minska behovet av långa exempel i varje prompt, men en väl utformad prompt är en nödvändig jämförelsepunkt innan nyttan av träning går att bedöma.

Träningsexemplen måste likna de frågor och det underlag modellen möter i drift. Lägg undan separata testfall, även ovanliga och svåra varianter, så att en förbättring inte bara speglar inlärning av exemplen. Ett utdataformat kan kontrolleras med maskinell validering; ton och uppgiftsbeteende kräver tydliga bedömningsregler. Ändras uppgiften behövs nya exempel, en ny träningskörning och kontroll av att tidigare beteenden fortfarande fungerar. Den cykeln är en annan underhållskostnad än att byta ett dokument i ett sökbart underlag.

Hur långt räcker de publicerade kvalitetsmåtten?

I en jämförelse av kunskapsbaserade system fick den prövade RAG-konfigurationen i genomsnitt 16 procent högre ROUGE och 15 procent högre BLEU än de finjusterade modellerna. RAG-testet använde en basmodell ur Llama-familjen med hämtat innehåll, medan finjusteringsresultaten byggde på de modeller som valts för respektive test. Siffrorna beskriver därmed studiens konfigurationer och datamängder, inte en generell fördel för varje modell eller svensk tillämpning.

ROUGE och BLEU mäter överlapp med referenssvar. De kan visa att ett svar liknar facit, men avgör inte ensamma om varje sakuppgift är korrekt eller om en angiven källa verkligen stöder den. I samma jämförelse förbättrade kombinationen av hämtning och finjustering inte det genomsnittliga resultatet jämfört med RAG ensam. För egna faktasvar behövs därför mått på hämtning, sakstöd och svarskvalitet; för formatstyrda uppgifter kan ett giltigt schema och rätt utförd åtgärd vara mer relevanta än ordlikhet.

När betalar sig en kombination?

Jämför kostnaden för hela arbetsflödet med samma trafik och kvalitetskrav. RAG för med sig indexering, sökning, dokumentvård och ofta längre förfrågningar. Finjustering kräver träningsdata, körningar och återkommande utvärdering när uppgiften ändras. En kombination bär båda underhållsspåren, men kan vara motiverad om hämtningen löser kunskapsbristen medan modellen fortfarande använder korrekt hämtad text på ett opålitligt sätt.

Det avgörande måttet är kostnad per svar som uppfyller produktens krav, tillsammans med svarstid och de fel som är dyrast för användaren. Jämför därför en välskriven prompt, RAG, finjustering och vid behov kombinationen på samma frågor. Om kombinationen förbättrar både sakstöd och beteende till en rimlig merkostnad finns ett skäl att behålla den. Om hämtning redan ger godkända faktasvar, eller instruktioner redan ger rätt format, tillför ytterligare träning inget värde som motiverar dess underhåll.

Läs också:

• Loom eller Vidyard: intern kunskapsdelning möter mätbar försäljning
• Mät hallucinationer i RAG – träffsäker hämtning räcker inte
• Riverside eller Zencastr: video först kostar ett annat arbetsflöde