DI agento testas: atsakymas neįrodo teisingos eigos

DI agento regresijos testą kurkite iš patikrintos sąveikos: išsaugokite naudotojo užklausą, laukiamą atsakymą, būtinus įrankių kvietimus, jų seką ir perdavimus kitiems agentams. OpenAI agentų vertinimo gairės siūlo elgesio analizę pradėti nuo vykdymo trasų, kuriose matyti modelio ir įrankių kvietimai, apsaugos priemonės bei perdavimai, o kartojamiems palyginimams naudoti duomenų rinkinius ir vertinimo paleidimus.

Galutinį tekstą laikykite viena testo dalimi. Agentas gali pateikti teisingą atsakymą praleidęs privalomą patikrą, pasirinkęs netinkamą įrankį arba perdavęs kitam agentui per mažai informacijos. Regresijos testas turi aptikti ir tokį pokytį, net jei klientui matomas atsakymas liko toks pat.

Atrinkite sąveiką, kurią verta kartoti

Pradėkite nuo tikro naudotojo klausimo arba reprezentatyvios užduoties, kurios teisingą vykdymą galite patikrinti. Pirmasis atvejis turėtų turėti aiškų tikslą, apibrėžtus pradinius duomenis ir bent vieną veiksmą, kurio praleidimas turėtų reikšmės. Vien įtikinamas atsakymo tekstas nėra pakankamas atrankos kriterijus.

Užrašykite, kokia informacija agentui buvo prieinama: naudotojo žinutę, pokalbio būseną, leidžiamus įrankius ir jų grąžinamus duomenis. Jei įrankis kaskart grąžins kitokią užsakymo būseną ar paieškos rezultatą, pasikeitusį testą galėjo lemti išoriniai duomenys. Regresijos bandymui tokius atsakymus verta užfiksuoti bandymo aplinkoje, o ryšį su tikra sistema tikrinti atskirai.

Prieš išsaugodami etaloną, perskaitykite trasą

Patikrinkite, ar atsakymas atsirado iš tinkamų duomenų ir tinkama tvarka atliktų veiksmų. Google ADK vertinimo instrukcija ragina prieš išsaugant etaloninę sąveiką peržiūrėti įrankių kvietimus, jų argumentus ir veiksmų seką: teisingas atsakymas gali būti gautas ir atspėjus duomenis. ADK etaloniniame rinkinyje saugomi laukiami įrankių kvietimai ir galutinis atsakymas; įrankių trajektorija bei atsakymo sutapimas vertinami atskirai.

Sąlyginiame užsakymo grąžinimo scenarijuje agentas galėtų teisingai pasakyti grąžintiną sumą jos nepatikrinęs užsakymo duomenyse. Prieš paversdami pokalbį testu, nustatykite, ar trasa rodo privalomą užsakymo paiešką ir tinkamumo grąžinti patikrą prieš grąžinimo veiksmą. Jei būtino žingsnio nėra, sąveika netinka etalonui, nors atsakymas skamba įtikinamai.

Trasoje atskirai apžiūrėkite argumentus ir įrankių rezultatus. Kvietimas ieškoti užsakymo nėra pakankamas, jei jam perduotas klaidingas identifikatorius; teisingas identifikatorius taip pat nepadės, jei agentas ignoruos įrankio grąžintą būseną. Kai veikia keli agentai, patikrinkite, kokią užduotį ir kokius duomenis gavo perėmęs agentas.

Paverskite patikrintą trasą testo atveju

Etalonas turi aprašyti elgesį, kurį norite išsaugoti pakeitę modelį, instrukcijas ar įrankius. Jį patogu sudaryti iš šių dalių:

Įvestis ir būsena. Išsaugokite tikslią užklausą, reikalingą pokalbio kontekstą, prieinamus įrankius ir bandymui nustatytus jų atsakymus. Taip kiekvienas paleidimas prasidės nuo tų pačių sąlygų.
Būtini kvietimai. Nurodykite, kurį įrankį agentas turi pasirinkti ir kokius esminius argumentus perduoti. Jei argumento formatas lemia, ar išorinė sistema ras įrašą, tikrinkite ir jį.
Tvarka ir perdavimai. Užfiksuokite priklausomybes, pavyzdžiui, kad tinkamumo patikra įvyktų prieš grąžinimą. Jei užduotį perima kitas agentas, tikrinkite perdavimo laiką ir perduotą kontekstą.
Priimtinas rezultatas. Aprašykite faktus ir veiksmo būseną, kuriuos turi perteikti galutinis atsakymas. Kai tą pačią mintį galima išreikšti keliais būdais, nereikalaukite pažodinio etaloninio sakinio sutapimo.

Fiksuokite tik tai, kas lemia teisingumą. Jei nepriklausomi paieškos kvietimai gali vykti bet kuria tvarka, jų eiliškumo netikrinkite; jei prieš grąžinimą privaloma patikra, jos vieta sekoje yra testo sąlyga. Toks aprašas skiria svarbų elgesio pokytį nuo nekenksmingo trasos skirtumo.

Pridėkite nesėkmės variantus

Vienas sėkmingas atvejis neparodo, kaip agentas elgsis, kai trūksta duomenų arba įrankis grąžina nepalankų rezultatą. OpenAI vertinimo rekomendacijos siūlo į testų duomenis įtraukti įprastus, ribinius ir priešiškus atvejus; tarp agentams svarbių sunkumų jos mini dviprasmius įrankio duomenis, neteisingus argumentus ir perdavimus tarp agentų.

Prie sąlyginio grąžinimo scenarijaus pridėkite aiškiai apibrėžtus variantus: nerastą užsakymą, grąžinimui netinkamą prekę, nepavykusį įrankio kvietimą arba perdavimą specialistui be būtino užsakymo identifikatoriaus. Tai bandymo duomenys, kuriuos reikia pritaikyti savo sistemos taisyklėms. Kiekvienam variantui nurodykite ir laukiamą neveikimą: jei tinkamumas nepatvirtintas, grąžinimo įrankis neturi būti kviečiamas; jei trūksta identifikatoriaus, agentas turi jo paprašyti, o ne spėti.

Paleiskite rinkinį prieš pakeitimą ir po jo

Pirmąjį rinkinio paleidimą išsaugokite kaip atskaitą. Pakeitę modelį, sistemos instrukcijas, įrankio aprašą ar agentų maršrutizavimą, paleiskite tuos pačius atvejus su tais pačiais bandymo duomenimis. Rezultatus vertinkite atskirai: ar teisingas galutinis atsakymas, ar pasirinkti reikiami įrankiai, ar išlaikyta būtina tvarka, ar tinkamai atlikti perdavimai.

Nesėkmės pranešime parodykite konkretų skirtumą: praleistą patikrą, pakeistą argumentą, per ankstyvą veiksmą arba nepilną perdavimą. Jei pasikeitė tik formuluotė, tikrinkite, ar išliko reikalingi faktai ir veiksmo būsena. Kai agentas gali rinktis kelis leistinus kelius, testo sąlygas grįskite privalomomis priklausomybėmis, o ne visa vieną kartą užfiksuota seka.

Jei tas pats atvejis skirtingais paleidimais duoda nevienodą rezultatą, vieno sėkmingo bandymo neužtenka išvadai apie pakeitimą. Pakartokite atvejį tomis pačiomis sąlygomis ir atskirkite nepastovų agento elgesį nuo nuoseklios regresijos. Aptikę reikšmingą skirtumą, palyginkite naują trasą su patikrintu etalonu; etaloną keiskite tik nustatę, kad pasikeitė reikalaujamas elgesys, o ne vien agento vykdymas.

Taip pat skaitykite: