Ragas eða DeepEval: sama einkunn, ólík ákvörðun

Ragas og DeepEval geta bæði metið RAG-kerfi, en sambærileg einkunn úr römmunum segir ekki sjálfkrafa það sama um hvort svar sé ásættanlegt. Ragas nýtist til að greina heimt, svar og aðgerðir fulltrúa með ólíkum gerðum mælikvarða, eins og yfirlit Ragas sýnir. Fyrir þróunarteymi er rétta valið sá rammi og sá mælikvarði sem greinir villuna sem á að hafa áhrif á ákvörðun um útgáfu.

DeepEval leggur próftilvik og skýra niðurstöðu um hvort þau standist nær prófunarferlinu. Samkvæmt skjölun DeepEval býður ramminn yfir 50 mælikvarða, skilar einkunnum á bilinu 0–1 og notar sjálfgefinn, stillanlegan þröskuld 0,5. Sú stilling er ekki staðfest útgáfuviðmið fyrir gögn teymisins: bæði matsregluna og mörkin þarf að bera saman við mannlega dóma áður en próf fær að stöðva útgáfu.

Hvaða spurningu á mælikvarðinn að svara?

Í RAG-kerfi þarf að skilja að heimt skjala og myndun svars. Heimtarpróf spyr hvort sóttu textabrotin innihaldi þær upplýsingar sem þarf og hvort óviðkomandi efni ryðji gagnlegum brotum úr vegi. Svarpróf spyr hvort kerfið svari erindinu og hvort staðhæfingar þess eigi sér stoð í því sem var sótt. Lélegt svar getur stafað af því að rétt brot fannst aldrei eða að líkanið nýtti rétt brot illa; sama heildareinkunn segir ekki hvort á að laga heimtina eða svarmyndunina.

Rammarnir bjóða mælikvarða fyrir skyldar spurningar, svo sem samhengi, svörun við spurningu og trúmennsku við sótt efni. Pörun þeirra ætti þó að byggjast á inntaki og matsreglu, ekki á því að ensk heiti líkjast. Prófið þarf líka rétt gögn: spurningu, myndað svar og sótt textabrot fyrir mat á trúmennsku, en viðmiðunarsvar eða merkt viðmið geta bæst við þegar meta á hvort nauðsynlegar upplýsingar komust skila. Fyrir fulltrúa þarf stundum að meta röð aðgerða eða árangur verkefnis fremur en eitt lokasvar.

Faithfulness sýnir hvers vegna heitin duga ekki

Faithfulness í Ragas brýtur svar niður í staðhæfingar og reiknar hlutfall þeirra sem hægt er að leiða af sóttu samhengi. Þar skiptir máli hvort textabrotin styðji fullyrðinguna. Rétt staðreynd úr almennri þekkingu getur því samt verið óstudd í þessu afmarkaða mati ef hún kemur ekki fram í gögnunum sem kerfið sótti.

Í lýsingu á Faithfulness í DeepEval er sjálfgefinni leið með tungumálalíkani lýst þannig að staðhæfing teljist sönn ef hún stangast ekki á við staðreyndir í sóttu samhengi. Sama skjölun segir einnig í skýringum sínum að óstudd staðhæfing geti fengið lága einkunn. Þetta orðalagsbil er ástæða til að hafa skýrt merkt dæmi um ósanna, óstudda og studda fullyrðingu í prófasafninu, í stað þess að álykta um niðurstöðu út frá heiti mælikvarðans.

DeepEval býður auk þess fleiri matsleiðir fyrir þennan mælikvarða. Þegar önnur dómaraleið eða önnur fyrirmæli eru valin getur merking einkunnar breyst innan sama ramma. Við samanburð þarf því að skrá ekki aðeins heiti mælikvarðans heldur líka matslíkan, dómaraleið, fyrirmæli og útgáfu verkfærisins. Annars er erfitt að vita hvort breyting á einkunn kom frá RAG-kerfinu eða matsaðferðinni.

Þröskuldur verður að byggjast á villum sem skipta máli

Þröskuldur breytir einkunn í ákvörðun um að próftilvik standist eða falli. Til að nota hann sem útgáfuhlið þarf teymið að þekkja afleiðingar beggja tegunda rangra dóma: að hleypa röngu svari í gegn og að stöðva ásættanlegt svar. Það vægi ræðst af notkun kerfisins. Rangt svar um innri verklagsreglu, ónákvæm samantekt og svar sem vantar lykilatriði þurfa ekki endilega sömu matsreglu þótt þau komi öll úr sama RAG-ferli.

Meðaltal yfir gagnasafn getur falið fá, en alvarleg mistök. Útgáfuhlið fyrir trúmennsku ætti því að miðast við skilgreindan villuflokk og niðurstöður einstakra próftilvika, en þróun meðaltals getur áfram hjálpað til við að sjá víðtækari breytingar. Sá munur á gagnasafni og CI-prófi skiptir máli þegar könnun á gæðum verður að sjálfvirkri ákvörðun í þróunarferlinu.

Lágmarkspróf á eigin gögnum

Látið báða ramma fá sömu spurningar, sömu mynduðu svörin og sömu sóttu textabrotin. Safnið þarf dæmi um vel heppnuð svör, svör sem vantar atriði, staðhæfingar án stuðnings og tilvik þar sem heimtin skilar röngu efni. Ef fulltrúi notar verkfæri eða svarar í mörgum umferðum þarf próftilvikið jafnframt að varðveita þá aðgerðarröð sem dómurinn á að ná til. Án sambærilegs inntaks er munur á einkunnum lítt upplýsandi.

Skilgreinið hvaða villur notendur eða sérfræðingar myndu hafna. Skráið matsreglu fyrir hverja villu áður en sjálfvirkar einkunnir eru skoðaðar.
Látið fólk merkja fjölbreytt úrtak og skrá stutta ástæðu fyrir hverjum dómi. Ágreiningur milli matsaðila bendir oft á að reglan sjálf þurfi skýringu.
Keyrið mælikvarða sem svara sömu spurningu á óbreyttum tilvikum. Berið saman dóma um einstök svör, ekki aðeins meðaltöl rammanna.
Skoðið sérstaklega þau tilvik þar sem sjálfvirkir dómar eru ósammála fólki eða lenda nálægt fyrirhuguðum mörkum. Veljið þröskuld eftir því hvaða mikilvægu villur hann stöðvar og hvaða ásættanlegu svör hann hafnar.
Haldið hluta merktra tilvika utan við stillingu markanna. Prófið mörkin þar og endurtakið athugunina þegar gögn, fyrirmæli eða matslíkan breytast.

Þetta er einnig leið til að greina hvort mælikvarði svari réttri spurningu. Ef próf á trúmennsku fellir helst svör sem eru rétt en ófullnægjandi, á teymið að skoða hvort það vanti sérstakt próf fyrir heildstæði. Ef próf á heimt metur aðeins hvort eitthvað viðeigandi fannst getur það misst af því að nauðsynlegt textabrot vantar. Fleiri einkunnir bæta ekki slíkan mismatch nema hver þeirra sé tengd skýrum dómi.

Mannlegir dómar sýna mörk fylgninnar

Í rannsókn Quentin Brabant á viðskiptagögnum voru meðal annars mælikvarðar úr Ragas og DeepEval bornir saman við dóma tveggja matsaðila á svörum við 96 spurningum. Fylgni milli mannlegu matsaðilanna var 0,85. Höfundurinn bendir á að fylgni sjálfvirks mælikvarða við mannlegt mat á svörum eins RAG-kerfis sýni ekki ein og sér hvort mælikvarðinn greini betur heppnaðar útgáfur kerfisins frá verri útgáfum.

Munurinn skiptir máli fyrir teymi sem ætlar að nota próf við útgáfuákvörðun. Mælikvarði getur fylgt því að auðveldar spurningar fái yfirleitt betri svör, án þess að hann nemi framför þegar kerfið svarar sömu spurningu betur. Sterkara próf er að bera saman mismunandi svör eða útgáfur við sömu spurningar og athuga hvort sjálfvirki dómurinn fylgi mannlegu mati á muninum. Þannig fær þröskuldurinn merkingu fyrir breytingarnar sem þróunarteymið hyggst samþykkja eða stöðva.

Hvorn rammann á teymið að velja?

Ragas er sterkur kostur þegar teymið vill sundurgreina þætti RAG-ferlis, prófa ólíkar matsaðferðir og vinna með bæði dóma sem byggjast á tungumálalíkani og hefðbundnari, ákvarðaða mælikvarða. DeepEval hentar vel þegar skilgreind próftilvik, rökstuðningur fyrir einkunn og stillanleg mörk eiga að tengjast beint sjálfvirkum prófunum. Báðir rammar ná einnig til mats á fulltrúum; valið ræðst af því hvort viðkomandi próf á að dæma einstakt svar, heimt, verkfæranotkun eða heila aðgerðarröð.

Fyrir útgáfuhlið er því gagnlegra að velja fáa mælikvarða sem standast próf á eigin, mannlega merktum dæmum en að safna mörgum einkunnum. Þá veit teymið hvaða villa fær prófið til að falla, hvers vegna mörkin liggja þar sem þau liggja og hvenær breytt matsaðferð kallar á nýja staðfestingu.

Lestu einnig: