Test AI-agenten før lancering – slutresultatet er ikke nok

Test en AI-agent med faste opgaver, hvor du kontrollerer både dens handlinger undervejs og den tilstand, den efterlader i systemet. Et overbevisende slut svar kan skjule et forkert værktøjskald, en manglende overdragelse eller en handling, som aldrig blev gennemført.

Giv hver testcase et kendt udgangspunkt, et forventet resultat og regler for tilladte handlinger. Gem forløbet, gentag opgaven fra en ren starttilstand, og sammenlign forsøgene, når du ændrer model, prompt, værktøjer eller routing. Så kan testen afsløre både svingende resultater og regressioner før lancering.

Skriv testcasen som en kontrollerbar opgave

Brugerens besked er kun én del af testcasen. Beskriv også de data, rettigheder og værktøjer, agenten får adgang til, samt den ændring, opgaven skal skabe. Uden et fast udgangspunkt er det svært at afgøre, om en fejl skyldes agenten eller testmiljøet.

En kompakt testcase kan bygges af disse felter:

1. Udgangspunkt: Brugerens anmodning, relevante poster, tilgængelige værktøjer og tilladelser.
2. Forventet sluttilstand: De poster eller filer, der skal være oprettet, ændret eller bevaret.
3. Påkrævede handlinger: De kontroller og overdragelser, som opgavens regler kræver.
4. Forbudte handlinger: Værktøjskald, argumenter eller dataadgange, der aldrig må forekomme.
5. Bedømmelse: Regler for bestået, afvist og tilfælde, der kræver nærmere vurdering.

Som betinget eksempel kan en kundeserviceagent få til opgave at refundere en ordre efter identitetskontrol. Testdata angiver ordren, kundens status og betalingens starttilstand. Testen kan dermed skelne mellem en gennemført refundering, et løfte om refundering uden ændring i systemet og en refundering uden den krævede kontrol.

Tag også tilfælde med, hvor handlingen skal undlades: En ordre uden gyldigt grundlag for refundering bør ikke behandles som en almindelig godkendt sag. En kendt gyldig løsning på hver testcase hjælper med at afsløre uklare opgaver og bedømmelsesregler, der afviser korrekt adfærd.

Kontrollér værktøjskald, rækkefølge og overdragelser

Gem et spor for hvert forsøg med værktøjernes navne, argumenter, svar og rækkefølge samt eventuelle overdragelser og sikkerhedsstop. OpenAI’s vejledning om agent-evaluering beskriver spor som grundlag for at undersøge værktøjsvalg, overdragelser og regelbrud og anbefaler gentagelige datasæt til sammenligning af ændringer.

Omsæt kravene til præcise kontroller. I det betingede refunderingseksempel skal identiteten være bekræftet, før refunderingsværktøjet kaldes. Et kald med et for højt beløb eller adgang til et uvedkommende kundekartotek kan afvise forsøget, selv om slutbeskeden lyder korrekt.

Kræv kun en bestemt rækkefølge, når den følger af opgavens regler. Agenten kan godt hente harmløse oplysninger ad forskellige gyldige veje. En test, der kræver en nøjagtig kopi af ét godkendt forløb, risikerer derfor at afvise en løsning, som både overholder reglerne og når det rigtige resultat.

Ved fejl skal sporet gøre det muligt at se, om problemet opstod ved valg af værktøj, i argumenterne eller ved en manglende overdragelse. Hvis testen kun gemmer agentens sidste besked, forsvinder netop den forskel, som afgør, om handlingen var forsvarlig.

Læs sluttilstanden i testmiljøet

Kontrollér resultatet dér, hvor opgaven skulle skabe en ændring. Anthropics gennemgang af agent-evaluering skelner mellem sporet og miljøets sluttilstand: En agent kan oplyse, at en flyrejse er booket, selv om reservationen ikke findes i databasen. Den beskriver også gentagne forsøg, isolerede testmiljøer og deterministiske bedømmelsesregler, hvor de er mulige.

I en betinget reservationstest bør kontrollen slå reservationen op i testmiljøets egen datakilde. Sammenhold passager, afgang og status med det forventede resultat, og undersøg, om agenten har oprettet ekstra reservationer. For refunderingen gælder samme princip: Læs betalingspostens status og beløb frem for at stole på agentens afsluttende formulering.

Nulstil miljøet før hvert forsøg. En post, som et tidligere forsøg efterlod, kan ellers få et senere forsøg til at se vellykket ud. Isolerede testdata gør det samtidig muligt at knytte en ændring i systemet til det spor, der faktisk skabte den.

Gentag forsøgene, og bedøm det målbare med kode

Kør hver testcase flere gange med samme input og starttilstand i adskilte miljøer. Gem bestået eller afvist for hvert forsøg sammen med spor og sluttilstand. Når samme opgave lykkes i ét forsøg og fejler i et andet, kan du se, hvilken handling eller systemændring der varierede.

Lad kode afgøre entydige forhold: om en post findes, om et beløb holder sig inden for grænsen, om identitetskontrollen kom før refunderingen, og om et forbudt kald forekom. Sikkerhedskrav bør være selvstændige beståelseskrav, så en god vurdering af svarets kvalitet ikke opvejer et regelbrud. Svartid og ressourceforbrug kan måles særskilt fra korrekthed.

Åbne spørgsmål kræver en anden bedømmelse. En model kan vurdere, om en forklaring er forståelig, eller om en overdragelse var relevant, når flere løsninger kan være gode. Giv den en snæver vurderingsrubrik og kun de dele af spor og sluttilstand, der er nødvendige for opgaven. Lad mennesker gennemgå tvivlstilfælde og bruge deres vurderinger til at justere rubrikken.

Sammenlign ændringer på det samme testsæt

Gem testsættets version sammen med versionerne af model, prompt, værktøjer og routing. Kør både den nuværende og den foreslåede konfiguration på de samme opgaver. Vis resultater særskilt for faktisk opgaveløsning, forkerte værktøjskald, manglende overdragelser og regelbrud; én samlet beståelsesprocent kan skjule, at en alvorlig fejltype er blevet hyppigere.

Undersøg afviste forsøg, før du ændrer agenten. Hvis opgaven er tvetydig, eller bedømmelsen afviser en gyldig løsning, skal testcasen rettes og køres igen for begge konfigurationer. Føj konkrete fejltilfælde til det faste sæt, så de bliver synlige ved næste ændring. Beslutningen om lancering bør bygge på de fastlagte krav til både handlinger og sluttilstand på tværs af de gentagne forsøg.

Læs også:

• Test AI-agenter før drift: Et godt svar kan skjule forkert værktøjsvalg
• OpenAI-agenter nåede over 100 organisationer – gamle nøgler var nok
• Nordnet lancerer egne ETF’er i 2027 – pris og indeks er stadig ukendt