RAG evalueren met Ragas: ophalen en antwoorden apart meten

Wil je met Ragas achterhalen waarom een RAG-systeem slecht antwoordt, beoordeel dan per vraag de opgehaalde passages én het uiteindelijke antwoord. Meet of de benodigde informatie is gevonden, of het antwoord door die informatie wordt gedragen en of het de vraag beantwoordt. De oorspronkelijke Ragas-publicatie behandelt het ophalen van relevante context, brontrouw en antwoordrelevantie als afzonderlijke dimensies.

Houd feitelijke juistheid en gebruikersresultaat eveneens apart. Het Ragas-overzicht van metrics onderscheidt metingen van systeemonderdelen, de uiteindelijke output en bedrijfsresultaten. Beter opgehaalde passages kunnen een antwoord verbeteren, maar bewijzen op zichzelf niet dat het antwoord klopt of de gebruiker verder helpt.

Bewaar de vraag, passages en het antwoord

Stel een vaste evaluatieset samen met vragen die representatief zijn voor het werkelijke gebruik. Bewaar bij elke vraag de vraagtekst, de opgehaalde passages in hun oorspronkelijke volgorde en het gegenereerde antwoord. Als een noodzakelijk feit ontbreekt in het antwoord, kun je dan vaststellen of het nooit werd opgehaald of wel beschikbaar was maar niet werd gebruikt.

Voeg voor belangrijke vragen een door een deskundige gecontroleerd referentieantwoord toe. Beschrijf daarin de feiten die een volledig antwoord nodig heeft, inclusief voorwaarden die gemakkelijk worden overgeslagen. Neem ook vragen op waarvoor de beschikbare bronnen geen afdoende antwoord geven; bij die vragen beoordeel je of het systeem zijn onzekerheid passend verwoordt.

Bewaar bij vervolgvraagstukken ook de eerdere gespreksbeurten. Ragas heeft afzonderlijke evaluatievormen voor een enkele beurt en voor gesprekken met meerdere beurten. Een los opgeslagen vervolgvraag mist mogelijk het onderwerp of de voorwaarde uit de voorafgaande uitwisseling, waardoor de beoordeling een andere vraag betreft dan de gebruiker stelde.

Verbind elke metric met een herkenbare fout

De lijst met Ragas-metrics noemt aparte maten voor opgehaalde context, brontrouw, antwoordrelevantie en vergelijking met een referentie. Kies de maten die een concrete beslissing ondersteunen en bekijk de uitkomsten per vraag. Een gemiddelde kan verhullen dat een bepaalde groep vragen steeds op dezelfde plek vastloopt.

Context Precision: komen bruikbare passages hoog in de opgehaalde rangorde? Een lage score maakt ruis of een zwakke rangschikking zichtbaar. Bekijk welke passages voorrang kregen voordat je de instructie voor het genereren van antwoorden wijzigt.
Context Recall: bevatten de opgehaalde passages de informatie uit het referentieantwoord? Deze metric helpt gemiste feiten te vinden. Zij heeft een referentieantwoord of bekende relevante passages nodig: zonder ijkpunt is niet vast te stellen wat buiten de opgehaalde context bleef.
Faithfulness: volgen de beweringen in het antwoord uit de opgehaalde passages? Een lage score wijst op beweringen zonder steun in die passages. Een hoge score betekent brontrouw, maar garandeert geen juistheid als de passages zelf verouderd of onjuist zijn.
Response Relevancy: sluit het antwoord aan op de vraag? Deze maat helpt antwoorden op te sporen die het onderwerp raken maar een gevraagde voorwaarde of conclusie missen. Zij beoordeelt niet of de genoemde feiten waar zijn.
Factual Correctness: komen de beweringen overeen met een gecontroleerd referentieantwoord? Gebruik deze vergelijking wanneer juistheid en volledigheid centraal staan. De uitkomst is slechts zo bruikbaar als de referentie actueel en passend bij de vraag is.

Zonder referentieantwoorden kun je beginnen met Faithfulness en Response Relevancy en de opgehaalde passages van een selectie vragen zelf beoordelen. Daarmee zie je of het antwoord op de beschikbare context steunt en op de vraag aansluit. Of een noodzakelijk feit al vóór het genereren verloren ging, vraagt alsnog om een gecontroleerde referentie voor Context Recall.

Gebruik scorepatronen om de fout te lokaliseren

Een score benoemt een symptoom; de combinatie van scores en opgeslagen passages maakt een gerichte ingreep mogelijk. Ontbreekt informatie volgens Context Recall, controleer dan eerst of het juiste document in de bronverzameling staat. Is dat zo, onderzoek dan of de opsplitsing in passages, de zoekinstellingen of filters verhinderen dat de relevante tekst wordt opgehaald.

Staat de benodigde passage wel tussen de resultaten maar pas na minder bruikbare passages, kijk dan naar de rangschikking en naar hoeveel context het taalmodel werkelijk krijgt. Is de relevante informatie aan het model aangeboden terwijl Faithfulness laag is, inspecteer de beweringen zonder bronsteun. Dan ligt een aanpassing van de antwoordinstructie of het gebruik van bronpassages meer voor de hand dan een wijziging aan de zoekstap.

Als brontrouw en antwoordrelevantie goed zijn maar Factual Correctness laag is, vergelijk de gebruikte passages met het gecontroleerde referentieantwoord. Het antwoord kan trouw zijn aan een bron die verouderd is, of een vereist feit kan ondanks de beschikbare context ontbreken. Dit onderscheid bepaalt of je de bronverzameling moet bijwerken of het genereren van het antwoord moet onderzoeken.

Neem als voorwaardelijk voorbeeld een vraag met twee vereiste voorwaarden. Staat slechts één voorwaarde in de opgehaalde passages, dan begint de onvolledigheid bij het ophalen. Staan beide voorwaarden in de context maar noemt het antwoord er één, dan zit de fout in de verwerking van die context. Hetzelfde onvolledige eindantwoord vraagt dus om een andere ingreep.

Toets ook wat de gebruiker aan het antwoord heeft

Laat deskundigen een steekproef beoordelen van zowel laag als hoog scorende antwoorden. Zij kunnen nagaan of passages actueel en toepasselijk zijn, of een antwoord begrijpelijk is en of het systeem terecht onzekerheid uitspreekt wanneer de bronnen tekortschieten. Dat menselijke oordeel is vooral nodig wanneer een kleine wijziging in een voorwaarde of geldigheidsperiode de betekenis van het antwoord verandert.

Houd daarnaast een maat voor het gebruikersresultaat bij, bijvoorbeeld of iemand de bedoelde taak met het antwoord kon afronden of alsnog hulp nodig had. Context Precision en Faithfulness meten die uitkomst niet. Rapporteer daarom de zwakke vragen per foutsoort, de kwaliteit van het uiteindelijke antwoord en het gebruikersresultaat naast elkaar: één samengestelde score kan een daling in brontrouw verbergen achter een stijging in antwoordrelevantie.