Un scor RAG bun poate ascunde componenta defectă: măsoară patru lucruri separat

Un scor agregat poate ascunde unde greșește un sistem RAG. Pentru a localiza problema, evaluează aceleași întrebări prin patru metrici separate: context precision și context recall pentru recuperare, faithfulness și answer relevancy pentru răspuns. Ghidul Ragas pentru evaluarea pe un set de test folosește această împărțire între retriever și generator.

Păstrează pentru fiecare întrebare fragmentele recuperate în ordinea lor, răspunsul produs și, când metrica îl cere, un răspuns-etalon. Citește scorurile pe întrebare înaintea mediei lotului: dacă un singur pas pierde informația necesară, valorile bune din ceilalți pași nu arată ce trebuie reparat. Ca exemplu ipotetic, trei scoruri de 0,9 și unul de 0,1 dau media 0,7, deși unul dintre aspectele evaluate rămâne slab.

Construiește un set de întrebări care poate fi rulat din nou

Alege întrebări apropiate de cele primite efectiv de sistem. Include cereri directe, întrebări care reunesc informații din mai multe pasaje, formulări ambigue și cereri pentru care baza de cunoștințe nu conține răspunsul. Dacă produsul este folosit în România și Republica Moldova, păstrează variantele reale de exprimare ale utilizatorilor, inclusiv diferențele de terminologie care pot schimba rezultatele căutării.

La fiecare exemplu, salvează întrebarea exactă, fragmentele trimise generatorului și ordinea lor, răspunsul generat și versiunea corpusului. Notează configurația recuperării, limita de fragmente, instrucțiunile generatorului și evaluatorul folosit. Altfel, o diferență între două rulări poate proveni din date, din căutare sau din felul în care este atribuit scorul.

Pentru întrebările cu răspuns verificabil, redactează un etalon care cuprinde afirmațiile necesare, fără detalii decorative. Marchează separat pasajele din corpus care le susțin. Cazurile fără răspuns merită o verificare explicită a refuzului sau a recunoașterii lipsei informației; un scor bun al relevanței nu dovedește singur că sistemul știe când să se oprească. Un set mic, revizuit manual, este util pentru diagnostic, dar nu reprezintă automat performanța întregului trafic.

Recuperarea: fragmente bine ordonate sau informație completă?

Context precision urmărește poziția fragmentelor relevante în lista recuperată. Potrivit definiției Ragas pentru precizia contextului, pasajele utile plasate înaintea celor inutile ridică scorul. Când valoarea este slabă, inspectează ordinea rezultatelor, segmentarea documentelor, filtrele și metoda de reordonare. Un pasaj corect aflat prea jos poate fi exclus când generatorul primește doar începutul listei.

Context recall verifică dacă fragmentele recuperate acoperă informațiile necesare din referință. Documentația Ragas despre acoperirea contextului descrie compararea afirmațiilor din răspunsul-etalon cu pasajele găsite; calculul are nevoie de o referință. Dacă lipsește o afirmație, caută mai întâi pasajul în corpus și în index, apoi verifică interogarea, filtrele și limita rezultatelor. Generatorul nu poate folosi o informație care nu a ajuns în contextul lui.

Diferența dintre metrici indică investigații distincte. Acoperirea poate fi bună, dar precizia slabă dacă toate informațiile necesare apar după multe fragmente inutile. Precizia poate arăta bine când lista este curată, însă acoperirea rămâne slabă dacă lipsește o condiție esențială. În primul caz contează selecția și ordonarea; în al doilea, accesul la informația omisă.

Răspunsul: afirmații susținute și cerere rezolvată

Faithfulness privește sprijinul pe care contextul recuperat îl oferă afirmațiilor generate. Când răspunsul adaugă un detaliu absent din pasajele primite, inspectează acea afirmație, instrucțiunile generatorului și pasajul pe care modelul pare să se bazeze. Un răspuns fidel unui document greșit poate fi totuși greșit în realitate: fidelitatea măsoară relația cu contextul oferit, nu verifică independent adevărul din corpus.

Answer relevancy privește relația dintre răspuns și întrebarea utilizatorului. Un răspuns poate relua corect un pasaj, dar poate trata doar tema vecină sau poate omite partea cerută explicit. Pentru o întrebare cu mai multe cerințe, compară fiecare cerință cu răspunsul și cu fragmentele disponibile. Dacă pasajele potrivite au fost recuperate, investighează instrucțiunile și formularea generatorului; dacă nu, revino la recuperare.

Transformă combinațiile de scoruri în diagnostic

Urmărește traseul informației, de la corpus la lista recuperată și apoi la răspuns. Fiecare scor slab indică un loc de pornire, nu stabilește singur componenta vinovată:

1. Context recall slab: identifică afirmația din etalon fără suport în fragmente. Verifică dacă pasajul există în corpus, a fost indexat și a trecut de filtre.
2. Context recall bun, context precision slabă: informația necesară a fost găsită, dar rezultatele inutile apar prea sus. Examinează segmentarea, căutarea și reordonarea.
3. Recuperare bună, faithfulness slabă: compară afirmațiile nesusținute cu pasajele trimise generatorului. Investighează instrucțiunile și felul în care acesta combină informațiile.
4. Faithfulness bună, answer relevancy slabă: verifică partea întrebării rămasă fără răspuns. Un text corect susținut de context poate rata cererea utilizatorului.

Dacă mai multe valori sunt slabe, urmărește exemplul individual înainte de a modifica sistemul. Un pasaj lipsă poate afecta atât acoperirea, cât și răspunsul, iar un text foarte scurt poate părea fidel fiindcă evită tocmai informația dificilă. Schimbă o componentă între rulări și păstrează același set de întrebări pentru a putea atribui diferența observată.

Când este necesar etalonul și cum stabilești pragurile

Pentru context recall ai nevoie de o referință: un răspuns-etalon sau pasaje de referință. Precizia contextului poate fi evaluată față de etalon, dar există și o variantă care raportează utilitatea fragmentelor la răspunsul generat; ea răspunde unei întrebări diferite. În triada RAG din DeepEval, evaluarea fără etalon folosește relevanța răspunsului, fidelitatea și relevanța contextului, în timp ce precizia și acoperirea contextului din acel cadru cer un răspuns așteptat etichetat. Nu compara direct scoruri obținute cu definiții sau referințe diferite.

Stabilește pragurile după erorile pe care utilizarea concretă le poate tolera. Notează ce afirmații fără suport sunt inacceptabile, ce informații trebuie să apară obligatoriu în context și ce abatere față de o versiune acceptată cere revizuire. Fixează setul, definiția metricii și evaluatorul înainte de comparație; altfel, schimbarea metodei de măsurare poate fi confundată cu o îmbunătățire a sistemului.

Documentația LangSmith despre evaluarea offline distinge testarea pe seturi selectate de testele de regresie între versiuni. Într-un sistem RAG, această distincție ajută la două decizii diferite: dacă o configurație răspunde suficient de bine cazurilor reprezentative și dacă o modificare strică întrebări pe care versiunea acceptată le rezolva. Raportează fiecare metrică împreună cu exemplele eșuate și tipul întrebării; media rămâne un rezumat, nu un diagnostic.

Citește și:

• NIST vrea identitate separată pentru agenții AI, nu conturi partajate
• Nu da parola editorului: rolul limitat poate ascunde veniturile YouTube
• HubSpot sau Zoho CRM: planul gratuit ascunde saltul de preț al automatizării