RAG zvuči uvjerljivo, ali četiri metrike otkrivaju gdje je puknuo

RAG sustav evaluirajte odvojeno: prvo provjerite je li dohvaćen kontekst potreban za odgovor, a zatim odgovara li generirani tekst na pitanje i ostaje li vjeran pronađenome. U DeepEvalovu vodiču za evaluaciju RAG-a opisane su metrike za oba koraka; četiri odabrane za ovu provjeru jesu kontekstualni odziv, kontekstualna preciznost, relevantnost odgovora i vjernost kontekstu. Njihovi odvojeni rezultati otkrivaju pogrešku koju tečan odgovor može prikriti.

Za svaki test sačuvajte korisničko pitanje, očekivani odgovor, stvarni odgovor te dohvaćene odlomke njihovim redoslijedom. Izvorni rad o Ragasu razlikuje pronalaženje relevantnog konteksta, vjernu uporabu tog konteksta i kvalitetu generiranog odgovora. Ta podjela određuje redoslijed provjere: najprije utvrdite je li dokaz bio dostupan modelu, pa tek onda što je model s njim učinio.

Sastavite mali hrvatski skup s poznatim odgovorima

Odaberite pitanja koja bi korisnik doista postavio nad vašom zbirkom dokumenata. Uz svako pitanje zapišite kratak očekivani odgovor i točne odlomke koji ga podupiru; ako pitanje traži uvjet i iznimku, oboje mora biti u očekivanom odgovoru. Pohranite identifikator i inačicu dokumenta kako se zastarjelo pravilo pri ocjenjivanju ne bi zamijenilo važećim.

Za početak je korisnije pokriti različite vrste poteškoća nego napisati mnogo parafraza istog pitanja. Sljedeća su pitanja uvjetni primjeri za zbirku internih pravila, a njihove odgovore treba odrediti prema dokumentima koji se stvarno testiraju:

• Izravan podatak: „Tko odobrava zahtjev za službeni put?”
• Povezivanje odlomaka: „Tko predaje zahtjev i kome ga šalje na odobrenje?”
• Višeznačan naziv: „Što znači kratica navedena u pravilniku o putovanjima?”
• Nedostupan podatak: „Kolika je naknada za trošak koji nijedan dokument ne uređuje?”
• Promjena pravila: „Koji postupak vrijedi prema novijoj inačici pravilnika?”

Za pitanje bez odgovora unaprijed zabilježite da je prihvatljiv ishod jasno priznanje nedostatka podatka. Kod pitanja s više odlomaka označite koji odlomak pokriva koji dio očekivanog odgovora; inače jedan pronađeni dio može stvoriti lažan dojam potpunog dohvaćanja. Ovakav skup omogućuje usporedbu promjena na istim pitanjima i istoj inačici zbirke.

Odziv otkriva nedostajući dokaz, preciznost loš poredak

Kontekstualni odziv mjeri pokrivaju li dohvaćeni odlomci informacije iz očekivanog odgovora. Ako se u očekivanom odgovoru nalaze uvjet i iznimka, a kontekst sadrži samo uvjet, dohvat je nepotpun čak i kada je pronađeni odlomak vrlo relevantan. Ovdje nije riječ o pronalaženju svakog relevantnog dokumenta u cijeloj zbirci, nego o dostatnosti dohvaćenog konteksta za zadani odgovor.

Kontekstualna preciznost ocjenjuje poredak: pojavljuju li se odlomci korisni za očekivani odgovor prije onih manje korisnih. Potreban dokaz može biti među rezultatima, ali potisnut odlomcima koje generator neće dobiti ili će ih teško iskoristiti. Nizak odziv usmjerava pregled prema indeksiranju, podjeli teksta na odlomke, pretraživanju i broju vraćenih rezultata; dobar odziv uz slabu preciznost usmjerava ga prema rangiranju.

Te dvije metrike traže napisan očekivani odgovor, pa kvaliteta oznaka izravno utječe na ocjenu. Ako je referentni odgovor nepotpun, koristan odlomak može izgledati suvišno; ako sadrži tvrdnju koje nema u važećim dokumentima, dohvat će biti nepravedno kažnjen. Za odlomke koji su tematski povezani, ali nisu korisni za odgovor, može se dodatno mjeriti kontekstualna relevantnost; ona nije zamjena za provjeru jesu li pronađeni svi potrebni dijelovi.

Relevantnost i vjernost razdvajaju dvije pogreške odgovora

Relevantnost odgovora pita bavi li se generirani tekst onime što je korisnik tražio. Sustav može vjerno prepričati pronađeni pravilnik, a ipak zaobići pitanje o konkretnom uvjetu. Ako su potrebni odlomci dohvaćeni i dobro rangirani, a odgovor skreće s teme, pregledajte upute generatoru i način na koji mu se predaju pitanje i kontekst.

Vjernost kontekstu pita podupiru li dohvaćeni odlomci činjenične tvrdnje u odgovoru. Odgovor koji navodi rok, iznimku ili nadležnu osobu bez oslonca u ponuđenim odlomcima može zvučati uvjerljivo i biti relevantan za pitanje, ali ostaje neutemeljen. Pri pregledu rastavite odgovor na tvrdnje: broj, negacija ili dodatni uvjet mogu promijeniti značenje i kad ostatak rečenice odgovara izvoru.

Visoka vjernost sama ne jamči da je odgovor točan prema važećim dokumentima. Ako je dohvaćena stara inačica pravila, generator je može vjerno prenijeti i svejedno dati pogrešan odgovor korisniku. Zato je oznaka važeće inačice dio testnog slučaja, a usporedba s očekivanim odgovorom ostaje zasebna provjera.

Kombinacije rezultata pokazuju gdje početi s ispravkom

Kad je odziv slab, najprije tražite dio dokaza koji nije stigao do generatora. Kad je odziv dobar, a preciznost slaba, dokaz postoji među rezultatima, ali je loše rangiran. Ako su oba rezultata dohvaćanja dobra, a vjernost slaba, pogledajte tvrdnje koje je generator dodao, izmijenio ili neopravdano spojio.

Drugačiji obrazac nastaje kada su dohvat i vjernost dobri, a relevantnost odgovora slaba: tekst se drži pronađenog izvora, ali ne rješava postavljeno pitanje. Kod pitanja bez odgovora u zbirci sadržajan odgovor nije cilj; ocjenjujte je li sustav jasno pokazao granicu dostupnih podataka. Ako istodobno zakažu dohvat i vjernost, nemojte svu pogrešku pripisati jednom koraku: prvo provjerite što je dohvaćeno, a zatim koje je tvrdnje generator proizveo bez oslonca.

Jedan prosjek skriva te razlike. Dva sustava mogu dobiti sličnu ukupnu ocjenu, premda jedan propušta potrebne odlomke, a drugi izmišlja tvrdnje uz dobar dohvat. Uspoređujte njihove odvojene rezultate po istim pitanjima, uz iste važeće dokumente i zabilježen redoslijed odlomaka.

Rubne slučajeve pregledajte ručno

Automatske ocjene pregledajte na primjerima u kojima se lako zamijene parafraza i promjena značenja. U hrvatskom testnom skupu posebno izdvojite padežne oblike, kratice s više značenja, negacije, tablice, upućivanja na druge odredbe i odgovore sastavljene iz više odlomaka. Za sporni odgovor označite konkretnu tvrdnju i odlomak koji je podupire ili pokažite koji dokaz nedostaje.

Posebnu pozornost zaslužuju sigurni, tečni odgovori uz slab dohvat: upravo oni mogu prikriti prazninu u dokazima. Nakon ispravka ponovite isti skup testova i pogledajte je li poboljšana ciljana metrika bez pogoršanja ostalih. Ako se ljudska procjena ne slaže s automatskom, sačuvajte obrazloženje i po potrebi ispravite očekivani odgovor ili oznaku izvornog odlomka prije sljedeće usporedbe.

Pročitajte i:

• RAG ili fine-tuning: znanje i ponašanje traže različita ulaganja
• LangChain ili LlamaIndex: orkestracija i RAG nisu isti problem
• Cloudflareov Web Search API daje agentima tri tražilice, ali ne provjerava odgovor