Kaip testuoti DI agentą: galutinis rezultatas svarbesnis už gražų atsakymą

DI agentą testuokite pagal tai, ką jis iš tikrųjų atliko: sudarykite nedidelį kartojamų užduočių rinkinį, iš anksto apibrėžkite kiekvienos užduoties sėkmę ir tikrinkite įrankių iškvietimus, būtinų veiksmų seką bei galutinę sistemos būseną. „OpenAI“ agentų vertinimo gairės šiam darbui aprašo visos eigos pėdsakus, vertintojus, duomenų rinkinius ir pakartojamus vertinimo vykdymus.

Pradžiai susidėkite dešimt savo agentui būdingų užduočių ir kiekvieną paleiskite kelis kartus iš tos pačios pradinės būsenos. Pakeitę modelį, nurodymus ar įrankius, palyginkite naujus bandymus su ankstesniais pagal atskirus kriterijus: ar užduotis įvykdyta, ar laikytasi privalomų veiksmų ir ar galutinis pranešimas atitinka tikrovę.

Apibrėžkite, kas laikoma sėkme

Kiekvienam bandymui užrašykite vartotojo prašymą, pradinę aplinkos būseną, agentui prieinamus įrankius ir laukiamą rezultatą. Užsakymų agentui patikrinamas kriterijus būtų toks: duomenų bazėje atsirado vienas tinkamo kliento užsakymas su nurodyta preke ir teisinga būsena. Formuluotė „agentas tinkamai atsakė“ šio veiksmo nepatikrina.

Prie rezultato pridėkite privalomus proceso reikalavimus. Jei jūsų sistemoje prieš keičiant pristatymo adresą būtina patikrinti kliento tapatybę, vertinkite, ar tikrinimas įvyko prieš pakeitimą. Kai tą patį tikslą galima pasiekti keliais leistinais įrankiais, reikalaukite būtino patikrinimo ir teisingos būsenos, o ne vienintelės tikslios iškvietimų sekos.

Dešimties užduočių rinkinys užsakymų agentui

Toliau pateiktas hipotetinis mažo vertinimo rinkinio šablonas. Jis daro prielaidą, kad agentas gali skaityti ir keisti užsakymus, o sistemoje apibrėžtos tapatybės tikrinimo, pakartotinių prašymų ir atšaukimo taisyklės. Kiekvieną užduotį pritaikykite tikriems savo sistemos leidimams ir duomenų laukams.

1. Sukurti užsakymą, kai prekė prieinama. Patikra: sukurtas vienas įrašas su teisingu klientu ir preke; agentas praneša apie patvirtintą rezultatą.
2. Pasakyti esamo užsakymo būseną. Patikra: perskaitytas tinkamas įrašas, duomenys nepakeisti, o atsakyme nurodyta sistemoje esanti būsena.
3. Pakeisti pristatymo adresą, kai būtina patikrinti tapatybę. Patikra: tapatybė patikrinta prieš rašymo veiksmą ir pakeistas tik reikiamas įrašas.
4. Pakartoti jau pateiktą užsakymo prašymą, kurį sistema turi atpažinti. Patikra: antras užsakymas nesukurtas, agentas nurodo esamą rezultatą.
5. Užsakyti nebeturimą prekę. Patikra: naujo užsakymo nėra, o agentas nežada neatlikto veiksmo.
6. Pateikti netinkamą prekės kodą. Patikra: agentas nespėja kito kodo, nekeičia duomenų ir paprašo patikslinimo.
7. Atšaukti užsakymą, kurį pagal sistemos taisykles galima atšaukti. Patikra: pakeista tik nurodyto įrašo būsena, o atsakymas ją tiksliai perteikia.
8. Atšaukti užsakymą, kurio būsena to nebeleidžia. Patikra: įrašas nepakeistas ir agentas paaiškina kliūtį.
9. Gauti neaiškų įrankio atsaką po užsakymo kūrimo bandymo. Patikra: prieš kartodamas veiksmą ar skelbdamas nesėkmę agentas nustato, ar įrašas jau atsirado.
10. Gauti neaiškų prašymą, tinkantį keliems užsakymams. Patikra: agentas pasitikslina, kurį įrašą keisti, ir iki tol nekeičia nė vieno.

Prie kiekvienos užduoties išsaugokite pradinius įrašus, laukiamus duomenų pakeitimus, būtinus veiksmus ir draudžiamus šalutinius pakeitimus. Paruoškite žinomą pradinę duomenų kopiją ir atkurkite ją prieš kiekvieną bandymą. Kitaip vėlesnis bandymas gali paveldėti ankstesnio sukurtą užsakymą, o vertinimas matuos susikaupusius duomenis.

Atskirkite agento žinutę nuo galutinės būsenos

Galutinė žinutė yra tik viena bandymo dalis. „Anthropic“ agentų vertinimo paaiškinimas skiria bandymo eigą nuo galutinės aplinkos būsenos: skrydžių agentas gali parašyti, kad rezervacija atlikta, nors SQL duomenų bazėje jos nėra. Todėl pažadas apie atliktą veiksmą turi būti lyginamas su įrašu sistemoje.

Hipotetiniame užsakymų bandyme agentas atsako „užsakymas pateiktas“. Programinis vertintojas perskaito užsakymų lentelę ir patikrina kliento, prekės, būsenos bei įrašų skaičiaus atitiktį. Jei įrašo nėra, užduotis neįvykdyta, kad ir kaip įtikinamai skambėtų atsakymas. Išsaugota veiksmų eiga tada parodo, ar agentas pasirinko kūrimo įrankį, kokius duomenis jam perdavė ir kaip suprato įrankio atsaką.

Aiškias būsenas, leidimus ir privalomą veiksmų tvarką tikrinkite programiškai. Modelio vertintojui galima pavesti siaurą užduotį: pagal išsaugotą eigą įvertinti, ar agento paaiškinimas vartotojui tikslus. Ginčytinus sprendimus ir atrinktus modelio vertinimus peržiūri žmogus; taip galima pastebėti, kada automatinis vertintojas atmeta teisingą alternatyvų sprendimą.

Kartokite bandymus ir matuokite svyravimą

Vienas sėkmingas paleidimas neparodo, ar agentas tą pačią užduotį patikimai įvykdys dar kartą. Šiam mažam rinkiniui praktiška pradžios taisyklė – po tris bandymus kiekvienai užduočiai, prieš kiekvieną atkuriant tą pačią aplinką. Tai siūlomas darbo šablonas, o ne universalus patikimumo slenkstis; rizikingesniems veiksmams gali reikėti daugiau bandymų.

Užrašykite kiekvieno bandymo baigtį, įrankių iškvietimus, galutinės būsenos patikrą ir nesėkmės priežastį. Jei užduotis pavyksta du kartus iš trijų, matomas konkrečios užduoties svyravimas. Vienas bendras rinkinio balas tokį atvejį gali paslėpti, ypač jei kitos, lengvesnės užduotys visada pavyksta.

Palyginkite versijas pagal tas pačias užduotis

Prieš diegimą paleiskite rinkinį su ankstesne ir siūloma agento konfigūracija. „OpenAI“ vertinimo praktikos gairės siūlo iš anksto nustatyti sėkmės kriterijus, vykdyti ir lyginti vertinimus bei kartoti juos keičiant sistemą. Palyginimui išsaugokite modelio ir nurodymų versijas, įrankių sąrašą, duomenų kopiją bei vertintojų taisykles.

Regresijų lentelėje pakanka stulpelių „užduotis“, „ankstesnės versijos bandymai“, „naujos versijos bandymai“, „būsenos skirtumas“ ir „sprendimas“. Hipotetinė eilutė: pakartotinis užsakymas anksčiau pavyko tris kartus iš trijų, dabar – du; nesėkmingu bandymu sukurtas papildomas įrašas; prieš diegiant reikia išsiaiškinti priežastį. Tokia eilutė parodo konkretų pasikeitusį veiksmą ir jo pasekmę.

Nesėkmingo bandymo eigą peržiūrėkite kartu su galutine būsena. Jei agentas pasirinko leistiną kitokį kelią, taisykite per griežtą vertintoją; jei sukūrė papildomą užsakymą, taisykite agento arba sistemos elgesį. Aptiktą atvejį palikite rinkinyje, kad kitas modelio, nurodymų ar įrankių pakeitimas vėl patikrintų tą pačią riziką.