RAG-u mund të tingëllojë saktë edhe kur burimet nuk e mbështesin

Një sistem RAG mund të japë përgjigje bindëse edhe kur fragmentet e rikthyera nuk i mbështesin pohimet e saj. Për ta vlerësuar, ruaj pyetjen, fragmentet që iu dërguan modelit dhe përgjigjen; pastaj kontrollo nëse prova u gjet, nëse hyri në kontekstin përfundimtar dhe nëse modeli iu përmbajt asaj.

Ky rend kontrollesh ndan gabimin e rikërkimit nga ai i gjenerimit. Punimi për Ragas i trajton si dimensione të veçanta përkatësinë e kontekstit të rikthyer, përdorimin besnik të tij dhe cilësinë e përgjigjes. Një vlerësim i vetëm për përgjigjen nuk tregon se cila hallkë duhet korrigjuar.

Ndërto një grup të vogël pyetjesh kontrolli

Zgjidh pyetje për të cilat mund të përcaktosh paraprakisht çfarë prove duhet të gjendet në korpus. Për secilën, ruaj përgjigjen e pritshme dhe fragmentin ose fragmentet që e mbështesin. Kjo e bën të mundur të dallosh një rezultat të afërt në temë nga një rezultat që përmban vërtet përgjigjen.

Grupi duhet të përfshijë një fakt të shprehur drejtpërdrejt, një përgjigje që kërkon bashkimin e fragmenteve dhe një rast ku dokumentet duken të ngjashme, por kanë fusha zbatimi të ndryshme. Shto edhe një pyetje për të cilën korpusi nuk përmban provë; aty pritshmëria është që sistemi ta shprehë këtë mungesë. Për përdoruesit në Shqipëri dhe Kosovë, formuloji pyetjet në shqipen që pritet të përdorin, duke përfshirë variante të zakonshme të termave.

Si shembull i kushtëzuar, mendo një korpus të sajuar rregulloresh dhe pyetjen «Kush e miraton kërkesën?». Fragmenti «Kërkesat dorëzohen në sekretari» është tematikisht i afërt, por nuk identifikon miratuesin. Fragmenti që cakton shprehimisht miratuesin është prova që duhet të shfaqet në gjurmën e rikërkimit.

Ruaj gjurmën pyetje–kontekst–përgjigje

Për çdo provë regjistro query, listën context të fragmenteve në rendin që mori modeli dhe response, përgjigjen e tij përfundimtare. Ruaj veçmas përgjigjen e referencës, identifikuesin dhe versionin e dokumentit, si edhe pozicionin e çdo fragmenti. Kështu mund ta lidhësh çdo pohim të përgjigjes me materialin që modeli kishte realisht përpara.

Regjistro gjithashtu rezultatet e gjetura para përzgjedhjes së kontekstit. Një fragment mund të gjendet nga kërkimi, por të hiqet përpara se kërkesa t’i dërgohet gjeneruesit; në atë rast modeli nuk e kishte provën, megjithëse kërkimi fillestar e kishte gjetur. Krahasimi mes listës së rezultateve dhe kontekstit përfundimtar tregon nëse duhet shqyrtuar rikërkimi, renditja apo kufiri i fragmenteve që kalojnë te modeli.

Mbaji të njëjta pyetjet dhe versionin e korpusit kur krahason konfigurime. Përndryshe, një ndryshim në rezultat mund të vijë nga dokumentet e ndryshuara, jo nga pjesa e rrjedhës që synove të përmirësoje. Shëno edhe kufirin e fragmenteve të dërguara: pozicioni i provës ka rëndësi kur vetëm rezultatet e para hyjnë në kontekst.

Mat renditjen dhe besnikërinë veçmas

Context Precision në Ragas vlerëson nëse fragmentet përkatëse renditen mbi ato të parëndësishme. Varianti që përdor përgjigje reference e gjykon dobinë e fragmenteve kundrejt asaj përgjigjeje. Nëse prova është në listë, por gjendet poshtë fragmenteve pa vlerë dhe nuk arrin te modeli, rezultati e drejton kontrollin te renditja ose përzgjedhja e kontekstit.

Para se të interpretosh renditjen, kontrollo manualisht mbulimin e provës: a përmban lista e rikthyer të gjitha fragmentet e nevojshme për përgjigjen e pritshme? Nëse mungon fragmenti vendimtar, renditja e rezultateve të pranishme nuk e zgjidh problemin. Kontrollo praninë e dokumentit në korpus, mënyrën si është ndarë në fragmente dhe kërkimin që duhet ta gjejë.

Faithfulness në Ragas mat pjesën e pohimeve të përgjigjes që mbështeten nga konteksti i rikthyer, me rezultat nga 0 në 1. Një rezultat i ulët tregon pohime që nuk mund të nxirren nga fragmentet e dhëna. Një rezultat i lartë kërkon ende kontrollin e versionit dhe fushës së zbatimit të dokumentit: modeli mund të jetë besnik ndaj një fragmenti që nuk vlen për pyetjen konkrete.

Lidhe rezultatin me hallkën që duhet korrigjuar

Lexoji metrikat për çdo pyetje krahas gjurmës së saj. Mesatarja e të gjithë grupit mund të bashkojë raste ku prova mungon me raste ku modeli e kishte provën, por shkroi diçka tjetër. Kjo matricë e kthen rezultatin në një kontroll të përcaktuar:

• Prova mungon në rezultatet e rikthimit: shqyrto korpusin, fragmentimin dhe mënyrën e kërkimit.
• Prova është rikthyer, por mbetet jashtë kontekstit të modelit: shqyrto renditjen, përzgjedhjen dhe kufirin e fragmenteve.
• Prova është në kontekst, por Faithfulness është i dobët: identifiko pohimin e pambështetur dhe shqyrto udhëzimin ose mënyrën e gjenerimit.
• Pohimet janë të mbështetura, por përgjigjja është e paplotë: krahaso përgjigjen me të gjitha pjesët e pyetjes dhe me përgjigjen e pritshme.
• Përgjigjja ndjek një dokument të papërshtatshëm: kontrollo versionin, fushën e zbatimit dhe filtrat e përzgjedhjes së burimit.

Pas një ndryshimi, përsërit të njëjtat pyetje dhe krahaso gjurmët e rasteve që dështuan. Për një problem rikërkimi, kërko që prova të shfaqet në rezultatet e reja; për një problem renditjeje, kërko që ajo të hyjë në kontekstin e modelit. Për një problem gjenerimi, kontrollo nëse pohimi përfundimtar mbështetet nga fragmenti përkatës.

Lexoni gjithashtu:

• RAG apo fine-tuning: dokumentet që ndryshojnë favorizojnë rikërkimin
• ChatGPT apo Gemini për kërkim të thellë: burimet dhe sinteza ndahen
• Një përmbledhje e gabuar nga AI uli kujtesën e saktë në 44,8%