Mældu leitina og svarið sitt í hvoru lagi — þannig finnst bilunin í RAG

Til að finna orsök lélegs RAG-svars þarf að meta það sem gerist fyrir svargerðina og svarið sjálft í hvoru lagi. Athugaðu hvort nauðsynlegar upplýsingar séu í gagnasafninu, finnist í sóttum textabútum og komist inn í samhengi líkansins. Ef þær berast þangað skaltu meta hvort lokasvarið styðjist við þær, svari spurningunni og taki með þau atriði sem þarf. Fyrsti staðurinn þar sem upplýsingar tapast segir til um hvaða hluta keðjunnar á að rannsaka.

Í RAG-mati Microsoft eru skjalaleit og lokasvar aðskilin: NDCG metur röðun sóttra skjala, groundedness stuðning svars í samhengi, relevance svargildi og Response Completeness heilleika miðað við viðmiðunarsvar; síðasti matsþátturinn er merktur forskoðun. Þessi aðgreining kemur í veg fyrir að gott skor á einum hluta feli bilun í öðrum.

Settu saman prófasafn sem sýnir hvar upplýsingar tapast

Veldu spurningar sem kerfið á að geta svarað út frá eigin gögnum. Skráðu fyrir hverja þeirra hvaða heimild geymir svarið og hvaða efnisatriði verða að koma fram í fullnægjandi svari. Taktu líka með spurningar sem gögnin svara ekki; þar er vænt niðurstaða að kerfið segi að upplýsingar skorti. Án þessara viðmiða er erfitt að greina hvort heimild vanti í leitina eða hvort líkanið hafi sleppt henni í svarinu.

Prófasafnið þarf að reyna á fleiri en eitt mynstur. Bein staðreyndaspurning prófar hvort tiltekinn bútur finnist, en spurning sem krefst skilyrðis og undantekningar prófar hvort báðir bútar berist áfram. Tvíræð orð og heimildir með mismunandi gildistíma geta jafnframt sýnt hvort leitin velur rétt samhengi fyrir spurninguna. Þetta eru fyrirfram ákveðin próftilvik, ekki niðurstöður úr mælingu á tilteknu kerfi.

Geymdu spurninguna, viðmiðunarsvarið, auðkenni viðeigandi heimilda, röð sóttra búta, samhengið sem líkanið fékk í raun og lokasvarið. Skráðu einnig hvaða útgáfa gagnasafnsins var notuð. Sóttur bútur getur fallið út þegar samhengi er sett saman eða stytt; án þessarar aðgreiningar lítur slík bilun út eins og líkanið hafi hunsað heimild sem það sá aldrei.

Greindu á milli þess að finna heimild og raða henni

Byrjaðu á einfaldri athugun: er heimildin sem þarf til að svara yfirhöfuð meðal sóttra niðurstaðna? Ef hún vantar skaltu kanna hvort hún hafi verið skráð í gagnasafnið, hvort leitarsíur útiloki hana og hvort fyrirspurnin nái til orðalags hennar. Röðun getur ekki komið heimild ofar sem leitin hefur ekki fundið. Sé heimildin til staðar í safninu en ekkert nothæft brot úr henni í leitarvísinum þarf einnig að skoða útdrátt og bútaskiptingu.

Þegar gagnlegir bútar finnast skiptir staða þeirra máli. Context Precision hjá Ragas metur hvort viðeigandi sóttir bútar raðist ofar en óviðeigandi bútar og getur borið þá saman við viðmiðunarsvar. NDCG gefur aðra leið til að meta röðina þegar búið er að merkja vægi heimilda. Hvorug röðunarmæling segir ein og sér hvort allar nauðsynlegar upplýsingar hafi fundist: það þarf að athuga sérstaklega gegn heimildunum sem próftilvikið krefst.

Ef réttur bútur finnst en lendir fyrir utan það sem líkanið fær skaltu skoða endurröðun, fjölda valinna búta og samsetningu samhengis. Berðu bæði röðina fyrir valið og endanlegt samhengi saman við viðmiðið. Þannig sést hvort búturinn tapaðist vegna slakrar röðunar eða vegna þess að samhengi var skorið niður eftir leitina.

Bútaskipting er önnur bilunarleið. Skjal getur verið rétt þótt leitarbúturinn geymi aðeins meginreglu og undantekningin standi í næsta bút. Prófaðu þá að breyta mörkum búta, skörun þeirra eða því hvernig samliggjandi brot eru tekin með. Árangurinn sést þegar bæði nauðsynlegu atriðin berast í samhengi líkansins, ekki aðeins þegar auðkenni rétta skjalsins birtist í leitarniðurstöðum.

Prófaðu hvað lokasvarið gerir við samhengið

Þegar nægar upplýsingar eru í samhenginu færist matið að svargerðinni. Berðu hverja staðhæfingu lokasvarsins við þá búta sem líkanið fékk, fremur en allt gagnasafnið. Faithfulness hjá Ragas metur hvort staðhæfingar svarsins fái stuðning í sóttu samhengi. Óstudd fullyrðing þrátt fyrir fullnægjandi samhengi bendir því að svargerðinni.

Stuðningur í samhengi svarar þó annarri spurningu en svargildi. Svar getur verið í samræmi við búta sem líkanið fékk en fjallað um annað en spurt var um. Berðu því svarið einnig beint við spurninguna. Síðan skaltu bera það við skráð viðmiðunaratriði: ef skilyrði eða undantekning er í samhenginu en vantar í svarið er heilleiki þess vandinn, þótt þær staðhæfingar sem eftir standa séu allar studdar.

Að lokum þarf að greina stuðning frá sannleiksgildi heimildarinnar. Ef sóttur texti er úreltur getur svar sem fylgir honum fengið gott mat á stuðningi en samt verið rangt fyrir notandann. Þá liggur úrbótin í heimildavali eða uppfærslu gagna. Í tilviki þar sem engin heimild svarar spurningunni skaltu meta sérstaklega hvort svarið viðurkenni þann skort í stað þess að fylla eyðuna með ágiskun.

Láttu fyrsta frávikið ráða úrbótinni

1. Ef nauðsynleg heimild er í gagnasafninu en finnst ekki í leitarniðurstöðum skaltu skoða skráningu, síur og leitaraðferð. Sé ekkert nothæft brot úr henni til staðar skaltu skoða útdrátt og bútaskiptingu.
2. Ef gagnlegir bútar finnast en raðast of neðarlega skaltu prófa röðunina. Ef þeir raðast nógu hátt en falla samt úr endanlegu samhengi skaltu skoða val og styttingu samhengis.
3. Ef rétt skjal finnst en nauðsynleg atriði liggja í aðskildum bútum sem berast aldrei saman skaltu breyta bútaskiptingu eða því hvernig skyldir bútar eru teknir með.
4. Ef öll nauðsynleg atriði eru í samhenginu en svarið bætir við óstuddri fullyrðingu, sleppir atriði eða svarar rangri spurningu skaltu skoða fyrirmæli til líkansins og framsetningu heimildanna.

Sama tilvik getur sýnt fleiri en eina bilun. Léleg röðun getur til dæmis falið undantekningu, á meðan svarið sleppir einnig atriði sem var í því samhengi sem það fékk. Skráðu því bæði fyrsta staðinn þar sem upplýsingar tapast og hvort síðari þrep nýta það sem þó berst. Það kemur í veg fyrir að breyting á fyrirmælum sé talin hafa lagað heimildaleitina.

Berðu úrbætur saman á sömu próftilvikum og með sömu viðmiðunarheimildum. Eftir breytingu á leit á að sjá hvort nauðsynlegir bútar finnist og komist inn í samhengi; eftir breytingu á svargerð á að sjá hvort svarið verði betur stutt, beinna og fyllra. Þegar gagnasafnið breytist þarf að uppfæra viðmiðin líka, annars getur gamalt vænt svar ranglega fellt nýtt og rétt svar.