Prófaðu gervigreindarfulltrúa með ferlum — lokasvarið dugar ekki

Til að meta gervigreindarfulltrúa skaltu prófa bæði lokaniðurstöðuna og ákvarðanirnar sem leiddu til hennar. Skráðu feril hverrar keyrslu, berðu verkfæraköll, afhendingar og öryggisákvarðanir saman við fyrirfram skilgreinda hegðun og endurtaktu sömu próf eftir breytingar. Leiðbeiningar OpenAI um ferilsmat lýsa rekju sem skrá yfir líkanaköll, verkfæraköll, öryggisvarnir og afhendingar í einni keyrslu.

Lokasvar getur verið trúverðugt þótt fulltrúinn hafi valið rangt verkfæri eða reynt að framkvæma aðgerð sem fyrirmæli bönnuðu. Prófasafnið þarf því að segja til um hvað fulltrúinn á að gera, hvað hann má ekki gera og hvaða ástand á að vera til staðar þegar verkefni lýkur. Þannig verður hægt að greina bilun sem annars hverfur á bak við vel orðað svar.

Skráðu ákvarðanirnar milli beiðni og svars

Ferilsrekjan þarf að varðveita röð atburða: hvaða fulltrúi tók við beiðninni, hvaða verkfæri hann valdi, hvaða færibreytur fóru í kallið og hvaða svar kom til baka. Þar sem fleiri fulltrúar koma við sögu þarf einnig að sjást hvenær ábyrgð færðist á milli þeirra. Ef öryggisvörn greip inn í skaltu skrá bæði tilefnið og hvort aðgerðin var stöðvuð.

Vistaðu líka lokastöðu verkefnisins. Fulltrúi getur til dæmis sagst hafa breytt skráningu þótt prófunarkerfið sýni enga breytingu; þá er svartextinn rangur jafnvel þótt verkfæravalið hafi verið rétt. Notaðu staðgögn fyrir viðkvæmar upplýsingar og fyrirfram ákveðin verkfærasvör þegar þú þarft að bera tvær útgáfur saman. Annars getur breyting í ytra kerfi litið út eins og breyting á hegðun fulltrúans.

Skilgreindu próftilvik áður en þú keyrir þau

Hvert tilvik á að hafa inntak, leyfðar aðgerðir, bönnuð skref og skýrt lokaskilyrði. Í skilyrtu dæmi um stöðu pöntunar ætti fulltrúinn að biðja um pöntunarnúmer ef það vantar, nota síðan pöntunarleit með réttu númeri og svara út frá niðurstöðunni. Prófið fellur ef hann giskar á númer eða kallar á lykilorðsendurstillingu, jafnvel þótt svar hans hljómi sannfærandi.

Settu í safnið bæði beiðnir sem kalla á verkfæri og beiðnir sem hægt er að svara án þess. Prófaðu líka stuttar eða óljósar beiðnir, misvísandi verkfærasvör og fyrirmæli sem stangast á við reglur fulltrúans. Leiðbeiningar OpenAI um matspróf aðgreina próf á verkfæravali, færibreytum og afhendingu milli fulltrúa og ráðleggja að niðurstöður prófa ráði því hvort flóknari uppbygging með mörgum fulltrúum sé nauðsynleg.

Vænt hegðun þarf að vera nægilega afmörkuð til að tveir yfirlesarar gætu komist að sömu niðurstöðu. Þú þarft þó ekki að krefjast nákvæmlega sömu orðröðar í lokasvari ef fleiri en ein framsetning er gild. Læstu matsreglunni áður en keyrslan hefst; annars er freistandi að laga viðmiðið að svarinu sem kom út.

Mældu helstu bilanir í litlu prófasafni

Byrjaðu á tilvikum sem endurspegla raunveruleg verkefni fulltrúans og aðgerðir sem geta haft afleiðingar. Eftirfarandi viðmið eru tillaga að lágmarkssafni; mörk fyrir kostnað og töf ráðast af þjónustunni sem verið er að byggja.

• Verkfæraval: Athugaðu hvort rétt verkfæri var kallað, hvort kall var óþarft og hvort færibreyturnar samsvara upplýsingum í beiðninni. Rangt eða óheimilt kall fellir tilvikið þótt lokasvarið sé rétt.
• Afhending: Prófaðu beiðni sem sérhæfður fulltrúi á að taka við og aðra sem á að vera áfram hjá upphaflega fulltrúanum. Skráðu viðtakanda, tímann sem stjórn færðist og hvort nauðsynlegt samhengi fylgdi. Röng afhending eða hringrás milli fulltrúa er bilun.
• Öryggi og fyrirmæli: Láttu beiðni reyna á bann við tiltekinni aðgerð eða reglu um forgang fyrirmæla. Skoðaðu ferilinn og lokastöðuna: kurteislegt synjunarsvar nægir ekki ef bannað verkfærakall fór samt fram.
• Verkefnisárangur: Berðu svar við væntar upplýsingar og athugaðu breytingu í prófunarumhverfinu þegar fulltrúinn á að framkvæma aðgerð. Fullyrðing um að verki sé lokið stenst ekki ef viðeigandi ástand breyttist ekki.
• Kostnaður og töf: Skráðu fjölda kalla, táknanotkun, kostnað og keyrslutíma fyrir hvert verkefni. Berðu mælingarnar við grunnlínu og fyrirfram samþykkt mörk. Þá sést hvort ný útgáfa notar fleiri skref en verkefnið réttlætir.

Endurtaktu prófin eftir breytingu á fyrirmælum

Frystu inntök, upphafsástand prófunarumhverfis, verkfærasvör og matsreglur áður en þú berð saman útgáfur. Keyrðu gamla og nýja útgáfu á sama safni og skoðaðu hvaða tilvik breyttust, ekki aðeins heildarhlutfall staðinna prófa. Umfjöllun Anthropic um matspróf fulltrúa lýsir endurteknum keyrslum vegna breytilegra svara og því að fylgjast megi með töf, táknanotkun, kostnaði og villum á föstu verkefnasafni.

Hugsum okkur skilyrt dæmi: fyrirmælum pöntunarfulltrúa er breytt svo hann svari styttra. Fyrir breytingu biður hann um pöntunarnúmer sem vantar; eftir hana giskar hann á númer og kallar strax á pöntunarleit. Nýja svarið gæti verið stutt og lipurt, en prófið fellir keyrsluna vegna rangra færibreyta. Geymdu tilvikið í afturhvarfssafninu svo næsta breyting sé einnig prófuð gegn þessari bilun.

Endurtaktu sérstaklega keyrslur þar sem einstakt heppið svar gæti falið óstöðuga hegðun. Láttu vélrænar athuganir meta ótvíræð atriði eins og heiti verkfæris, færibreytur og lokastöðu. Þegar fleiri en ein leið getur verið rétt skaltu láta fólk yfirfara úrtak ferla, einkum ef matsaðili hafnar lausn sem virðist gild. Sú yfirferð getur leitt í ljós hvort fulltrúinn brást eða prófið er of þröngt.

Notaðu bilunarmynstrið við útgáfuákvörðun

Fyrir útgáfu þarf að sjást hvaða tilvik féllu, á hvaða skrefi frávikið hófst og hvort kostnaður eða töf fór yfir samþykkt mörk. Óheimil aðgerð á að vera sjálfstætt stöðvunarskilyrði; gott meðaltal í öðrum prófum lagar hana ekki. Þegar ný bilun kemur fram skaltu bæta afmörkuðu tilviki við safnið og varðveita væntan feril þess, svo sama frávik komi fram við næsta samanburð.

Lestu einnig:

• Gervigreindarfulltrúar fá ekki frjálsar hendur á vinnustöðum
• Whisper eða Google fyrir íslenskt tal: stuðningur tryggir ekki nákvæmni
• GitHub krefst nýrrar auðkenningar — stolinn vefkökuaðgangur dugar ekki