Ragas apo DeepEval: analiza e eksperimenteve përballet me portën e CI-së

11 tetor 2026 në 02:00 p.d.|Autori: Ekipi editorial i QUASA|6 min lexim

Për të kuptuar pse ndryshon cilësia e një sistemi RAG mes varianteve, Ragas është një pikënisje e fortë: katalogu i metrikave të Ragas ndan rikërkimin, përgjigjen dhe sjelljen e agjentit në matje të veçanta. Kur kërkohet që një ndryshim të ndalet automatikisht në procesin e integrimit të vazhdueshëm, DeepEval ofron një rrugë më të drejtpërdrejtë nga pikët te kalimi ose dështimi i testit.

Udhëzuesi i DeepEval për RAG lidh rastet e testimit me assert_test() dhe komandën deepeval test run, kështu që një metrikë që nuk kalon pragun mund të dështojë në CI. Zgjedhja nuk përcaktohet vetëm nga emri i metrikës: e njëjta pikë mund të jetë e dobishme për diagnostikim, por tepër e paqëndrueshme për të bllokuar publikimin pa u krahasuar më parë me gjykimin njerëzor.

Metrikat tregojnë pjesë të ndryshme të defektit

Në Ragas, Context Precision vlerëson renditjen e fragmenteve të dobishme në kontekstin e rikërkuar, kurse Context Recall lidhet me informacionin e nevojshëm që është gjetur. Response Relevancy trajton lidhjen e përgjigjes me pyetjen; Faithfulness kontrollon nëse pohimet e përgjigjes mbështeten nga fragmentet që mori modeli. Këto rezultate u përgjigjen pyetjeve të ndryshme: një përgjigje mund të tingëllojë e përshtatshme, ndërkohë që një pohim i saj nuk mbështetet nga burimi.

Katalogu i Ragas përfshin edhe matje për saktësinë e thirrjeve të mjeteve dhe arritjen e qëllimit të agjentit. DeepEval ka gjithashtu metrika për rikërkimin dhe gjenerimin, prandaj mjetet nuk mund të ndahen thjesht sipas pranisë së një metrike. Dallimi i dobishëm për një ekip është organizimi i punës: a po kërkon të shpjegojë lëvizjen e rezultateve ndërmjet varianteve, apo të zbatojë një kusht kalimi në CI?

Eksperimentet dhe kufiri i krahasimit

Dokumentacioni i eksperimenteve të Ragas përshkruan një grup provash, ekzekutimin e aplikacionit mbi të, vlerësimin me metrika dhe ruajtjen e rezultateve për krahasim. Nëse ndryshohet mënyra e ndarjes së dokumenteve, pikët e rikërkimit mund të shihen veçmas nga pikët e përgjigjes. Nëse ndryshojnë njëherësh korpusi, modeli gjykues dhe konfigurimi i rikërkimit, rezultatet nuk ia atribuojnë më qartë përmirësimin njërës ndërhyrje.

Për një krahasim të besueshëm, mbajini të njëjta pyetjet, versionin e dokumenteve, përgjigjet e referencës dhe modelin që gjykon përgjigjet. Regjistroni edhe fragmentet e rikërkuara, sepse një ulje e besnikërisë mund të vijë nga burimi i gabuar ose nga përdorimi i gabuar i një burimi të saktë. Ky dallim përcakton nëse duhet ndryshuar rikërkuesi apo udhëzimi i gjenerimit; një pikë e vetme për përgjigjen përfundimtare e fsheh.

Çfarë mat në të vërtetë studimi me të dhëna biznesi

Në studimin e Quentin Brabant me 96 pyetje mbi dokumente biznesi në frëngjisht, contextual precision i DeepEval pati korrelacion mbi 0,5 me rikujtimin e fragmenteve të referencës, ndërsa disa metrika pa LLM të Ragas patën korrelacion të dobët në atë konfigurim. Shifra për DeepEval i përket rikujtimit të fragmenteve, jo notave që njerëzit u dhanë përgjigjeve. Ngatërrimi i këtyre dy kritereve do ta kthente një rezultat për rikërkimin në një premtim të pambështetur për cilësinë e përgjigjes.

Vlerësimi njerëzor i përgjigjeve ishte pjesë tjetër e analizës. Edhe një korrelacion i mirë mes pikës automatike dhe notës njerëzore nuk tregon domosdoshmërisht se metrika do të renditë saktë dy versione të një sistemi: pyetjet më të lehta mund të marrin pikë më të larta nga të dyja palët. Studimi shqyrtoi një sistem RAG, ndaj nuk e zgjidh këtë problem të krahasimit mes varianteve. Për një korpus në shqip, terminologjia dhe përgjigjet që kërkojnë bashkimin e disa fragmenteve janë arsye shtesë për kalibrim në të dhënat e vetë ekipit.

Cilat matje vlejnë për diagnostikim dhe cilat për portën e CI-së

Ndarja e mëposhtme është një skemë pune për zgjedhjen e kontrolleve, jo një renditje e saktësisë së produkteve. Një matje mund të ndryshojë rol kur ka shembuj njerëzorë të mjaftueshëm dhe prag të provuar për rastet që ka ekipi.

Prania e burimit të pritur: për një pyetje me fragment reference të verifikuar, mungesa e tij në rezultatet e rikërkimit është sinjal i qartë diagnostik. Në një rast kritik mund të shërbejë si kusht dështimi i CI-së, nëse identiteti i burimit dhe versioni i korpusit janë të qëndrueshëm.
Precision dhe recall të kontekstit: tregojnë nëse rikërkuesi sjell fragmente të dobishme dhe sa informacion të nevojshëm lë jashtë. Mbajini fillimisht për krahasimin e varianteve; pragu i bllokimit kërkon raste reference që pasqyrojnë pyetjet reale.
Faithfulness dhe relevanca e përgjigjes: ndihmojnë të gjenden pohime të pambështetura dhe përgjigje që shmangin pyetjen. Vendimi për bllokim kërkon shqyrtim njerëzor të rasteve pranë pragut, veçanërisht kur një përgjigje e pjesshme është e pranueshme.
Veprimet e agjentit: një thirrje mjeti mund të krahasohet me veprimin e pritshëm, ndërsa arritja e qëllimit varet nga e gjithë rrjedha. Këto raste mbahen veç nga pyetjet e zakonshme RAG, sepse një përgjigje e mirë nuk provon që agjenti kreu veprimin e duhur.

Një portë minimale që nuk bllokon për çdo luhatje

Ruani në versionim një grup pyetjesh me përgjigjen e pritur, fragmentin referencë kur ekziston dhe arsyen pse secili rast është kritik ose vetëm tregues. Përfshini pyetje që kërkojnë një burim, pyetje që bashkojnë disa burime dhe pyetje për të cilat përgjigjja e drejtë është pranimi i mungesës së informacionit. Për çdo ekzekutim regjistroni përgjigjen reale dhe fragmentet e rikërkuara; përndryshe një dështim nuk tregon ku filloi gabimi.

Një konfigurim thjesht ilustrues do të kërkonte që çdo rast kritik të gjejë burimin e pritur dhe që Faithfulness të arrijë të paktën 0,80, ndërsa relevanca të raportohej pa bllokuar CI-në. Pragu 0,80 nuk është rezultat i provuar për shqipen: ai shërben për të treguar ku vendoset kushti në test. Kufiri real duhet zgjedhur duke krahasuar përgjigje të etiketuara nga njerëzit me pikët e metrikës dhe duke parë veçmas kalimet e gabuara e bllokimet e gabuara pranë atij kufiri.

Dokumentacioni i pragjeve të DeepEval jep 0,5 si vlerë fillestare dhe lejon threshold=None për një metrikë që vetëm raporton pikën; për çdo rast testi duhet të mbetet të paktën një metrikë me prag. Kjo lejon që kontrolli i qartë për rastet kritike të ndikojë në kalim, ndërsa matjet më të zhurmshme të grumbullojnë evidencë. Nëse e njëjta përgjigje lëviz shpesh nga kalim në dështim, shqyrtoni vlerësimet pranë kufirit dhe rregulloni pragun vetëm pasi vendimi të jetë i qëndrueshëm.

Me DeepEval, rasti mund të lidhet drejtpërdrejt me testin që ekzekuton procesi CI; me Ragas, rezultatet e eksperimenteve mund të përdoren për të zgjedhur metrikën dhe pragun, ndërsa kushti i dështimit shkruhet në testet e ekipit. Një ekip mund t’i përdorë të dyja: të zbulojë shkakun e ndryshimit në eksperiment dhe të vendosë në CI vetëm kontrollet që kanë kaluar kalibrimin me gjykimin njerëzor.

Lexoni gjithashtu:

Ndaj: