Test AI agenta: trasa a skutečný výsledek

Test AI agenta začněte ruční kontrolou trasy jednoho běhu: sledujte, které nástroje použil, jak reagoval na jejich výstupy a zda provedl potřebné předání. Potom nezávisle ověřte stav systému, v němž měl úkol dokončit. Správná závěrečná odpověď může zakrýt chybný postup i změnu, která se vůbec neprovedla.

Opakovatelný test vznikne, když pro konkrétní úlohu uložíte výchozí stav, podmínky úspěchu a kontrolní pravidla. Stejné zadání spusťte vícekrát v obnoveném prostředí a uchovejte trasu i výsledek každého pokusu. Tak lze rozlišit jednorázové selhání od regrese po změně agenta.

První běh: projděte trasu rozhodnutí

Metodika OpenAI pro hodnocení agentních postupů doporučuje při ladění začít trasami. Ty zachycují volání modelu a nástrojů, ochranné kontroly i předání; hodnotitele, datasety a opakované běhy doporučuje zapojit, jakmile tým ví, jaké chování chce měřit.

Otevřete trasu jednoho reprezentativního úkolu a u každého rozhodnutí porovnejte dostupné informace s akcí agenta. Podívejte se na parametry volání nástroje, jeho skutečnou odpověď, reakci na chybu a okamžik, kdy agent označil práci za hotovou. Zvláštní pozornost věnujte krokům, kde mohl použít jiný zdroj dat, přeskočit schválení nebo předat práci nesprávnému příjemci.

Ručně nalezené selhání převeďte na ověřitelnou podmínku. Pokud je pro úlohu nutné předání člověku, lze v trase kontrolovat, zda nastalo před chráněnou akcí. Nepožadujte však přesnou posloupnost každého volání bez věcného důvodu: více různých postupů může splnit stejný úkol správně a v povolených mezích.

Zapište úlohu tak, aby šla spustit znovu

Samotné zadání a očekávaná věta v odpovědi nejsou dostatečnou testovací úlohou. Záznam musí určit, z jakého prostředí agent vychází, co smí udělat a jak poznáte dokončení bez spoléhání na jeho vlastní tvrzení. Praktické minimum tvoří tyto položky:

Požadavek: přesné znění zadání a omezení, která agent dostane.
Výchozí stav: připravená data, oprávnění a dostupné nástroje.
Očekávaný výsledek: konkrétní změna ověřitelná v cílovém systému.
Podmínky postupu: nutné předání, schválení nebo omezení volby nástroje.
Nepovolené důsledky: vedlejší změny, které nesmějí nastat ani při splnění hlavního úkolu.
Záznam pokusu: konfigurace agenta, trasa, výsledky kontrol a případná chyba testovacího prostředí.

Podmínky úspěchu formulujte tak, aby dva lidé posuzující tentýž výsledek dospěli ke stejnému závěru. Připravte také známé správné řešení, které kontrolami projde. Pokud neprojde ani ono, může být vadné zadání nebo hodnoticí pravidlo; neúspěch agenta pak nic spolehlivého neříká o jeho schopnosti.

Dokončení ověřte v cílovém systému

Po skončení běhu čtěte konečný stav prostředí nezávisle na závěrečné zprávě agenta. Metodika Anthropic k hodnocení agentů rozlišuje záznam průběhu a skutečný výsledek: jako příklad uvádí agenta, který oznámí rezervaci letu, ačkoli v databázi žádná rezervace nevznikla. Stejná metodika doporučuje více pokusů o úlohu, protože chování modelu se mezi běhy mění.

Pro úlohu se změnou dat proto připravte kontrolu, která po doběhnutí agenta načte příslušný záznam, hodnotu pole nebo výsledný soubor. V podmíněném příkladu rezervace by se ověřovala existence záznamu pro správného cestujícího a správný let. Kontrola by zároveň měla zachytit nepovolenou změnu jiné rezervace; samotná existence nějakého nového záznamu by byla příliš slabým důkazem.

Každý pokus musí mít vlastní identifikátor nebo jiný jednoznačný způsob přiřazení výsledku. Jinak může kontrola omylem najít záznam vytvořený předchozím během. Je-li výsledkem několik změn, vyhodnoťte je odděleně: agent mohl správně upravit hlavní položku, ale nedokončit navazující krok.

Hodnotitele rozdělte podle toho, co umějí zjistit

Deterministické pravidlo použijte pro podmínky s jednoznačným výsledkem: existenci záznamu, stav pole, povolený nástroj nebo předání před určitou akcí. Nad trasou může kontrolovat také parametry volání. Taková pravidla se snadno opakují, ale příliš úzká podmínka může odmítnout jiné platné řešení; kontrolujte proto požadavek zadání, ne podobnost s jedním vzorovým během.

Modelový hodnotitel se hodí pro vlastnosti, které jednoduché pravidlo nezachytí, například srozumitelnost odpovědi nebo přiměřenost vysvětlení. Dejte mu úzká, samostatná kritéria a možnost označit případ za nejasný. Jeho verdikty porovnávejte s lidským posouzením, zejména u sporných úloh. Tvrzení modelového hodnotitele, že výsledek působí věrohodně, však nemůže zastoupit kontrolu stavu systému.

Z jednotlivých případů vytvořte regresní sadu

Do datasetu ukládejte nejen úspěšné běžné úlohy, ale i pozorovaná selhání. Zařaďte případ, v němž nástroj vrátí chybu, chybí oprávnění nebo je nutné předání. Přidejte protějšky: když ověřujete předání v jedné situaci, potřebujete také úlohu, v níž má agent pokračovat sám. Úprava, která opraví první případ, by jinak mohla zhoršit druhý bez viditelného poklesu skóre.

Před každým pokusem obnovte výchozí prostředí. Zbytky dat, mezipaměť nebo nestabilní služba mohou výsledek zkreslit, a proto k běhu uchovávejte také informaci o chybě infrastruktury. Při porovnání verzí ponechte stejné zadání, stav prostředí a pravidla hodnocení; jinak nepoznáte, zda změna výsledku souvisí s agentem.

Každou úlohu spusťte opakovaně a zaznamenejte, v kolika pokusech agent skutečně dokončil požadovanou změnu. Jeden úspěch dokládá možnost splnění, nikoli spolehlivost při dalším běhu. Výsledky vykazujte odděleně pro konečný stav, důležité podmínky trasy a kvalitu odpovědi. Když skóre klesne, konkrétní neúspěšná trasa ukáže, zda se změnilo rozhodování agenta, selhal nástroj, nebo kontrola odmítla platné řešení.

Přečtěte si také: