Trda meja porabe ustavi predrag klic AI agenta

Strošek AI agenta omejite v izvajalniku, ki pred vsakim plačljivim klicem preveri najvišji dovoljeni strošek koraka, preostalo število klicev orodij in skupni proračun opravila. Če za naslednji korak ni dovolj razpoložljivega zneska, izvajalnik zahteve ne pošlje. Opravilo ustavi ali ga preda človeku, ki lahko odobri dodaten proračun.

Vsi koraki istega opravila, vključno s ponovitvami in podagenti, morajo uporabljati skupno evidenco porabe in rezervacij. OpenAI-jev primer za Responses API rezervira predvideni najvišji strošek pred zahtevkom, po odgovoru uskladi dejansko porabo in pojasnjuje, da opozorila o porabi zahtev ne ustavijo. Odločitev o izvedbi zato sprejme programski nadzor pred klicem, ne agent na podlagi navodila v pozivu.

Mesečna omejitev ne varuje posameznega opravila

Mesečni paketni limit šteje enoto uporabe, ki jo določi ponudnik izdelka. Pri omejitvi za Agent ChatGPT se na primer štejejo začetne uporabnikove zahteve agentu, ne pa vsak njegov notranji korak. Iz števila takih zahtev zato ni mogoče razbrati stroška posameznega večkorakovnega opravila.

Projektna omejitev porabe API zajame promet celotnega projekta, v katerem lahko teče več opravil. Meja posameznega klica prepreči en predrag zahtevek, zaporedje cenejših zahtevkov pa lahko skupaj še vedno preseže dogovorjeni znesek. Za ta znesek je potrebna meja, vezana na eno opravilo in uveljavljena pri vsakem njegovem plačljivem koraku. Tudi obračunsko opozorilo pride prepozno, da bi odločilo o zahtevku, ki je že bil poslan.

Pred zagonom določite štiri meje

Meje sodijo v nastavitve izvajalnika, ki nadzoruje dejanske klice modela in orodij. Za vsako opravilo določite:

Najvišji strošek klica. Omejite dovoljeni model, obseg vhodnih podatkov in največji izhod ter iz veljavnih cen izračunajte varno zgornjo oceno. Enako obravnavajte plačljivo orodje. Če njegove cene ali obsega ni mogoče zanesljivo omejiti, ga ni mogoče vključiti v strogo zagotovljen skupni proračun.
Največ klicev orodij. Štejte vsako poslano zahtevo, tudi ponovitev po napaki. Števec naj velja za starševskega agenta in vse podagente; ločeni števci bi vsakemu dovolili novo zaporedje.
Skupni proračun opravila. Pred pošiljanjem klica seštejte že nastalo porabo, odprte rezervacije in zgornjo oceno novega klica. Zahtevo dovolite samo, če vsota ne preseže odobrenega zneska.
Prag za človeško nadaljevanje. Določite, kdaj naj izvajalnik ustavi nadaljnje delo in pokaže porabo ter še potrebne korake. Človek lahko odobri določen dodatek ali opravilo zaključi; agent si proračuna ne poveča sam.

Števec klicev in denarna meja rešujeta različni težavi. Ponavljajoče se poceni orodje lahko sproži mnogo zahtev, en drag klic modela pa porabi velik del proračuna. Izvajalnik mora zato pred istim korakom preveriti obe omejitvi. Zavrnjenega klica ne sme samodejno ponavljati, saj ponovitev ne spremeni razpoložljivega zneska.

Podagenti potrebujejo skupno in usklajeno evidenco

Pri vzporednem delu samo skupen prikaz preostanka ni dovolj. Podagenti lahko hkrati preberejo isti prosti znesek in vsak zase sklenejo, da njihov klic še ustreza proračunu. Preverjanje preostanka in rezervacija novega klica morata biti zato ena nedeljiva operacija. Če podagenti tečejo v različnih procesih, zaklepanje v enem procesu ne varuje drugih; potrebna je skupna shramba, ki uskladi vse rezervacije.

V raziskavi Token Budgets preizkušeni mehanizem ni prekoračil meje v 382 sejah z živim API; pri ločenem preizkusu treh vzporednih podagentov je nezaklenjeni pristop prekoračil mejo v vseh 30 poskusih, pristop s pravilnim zaklepanjem pa v nobenem. Ti rezultati opisujejo preizkušene konfiguracije in predpostavljajo dovolj zanesljivo oceno stroška klica.

Druga izvedba je, da starševski agent vnaprej razdeli razpoložljivi znesek med podagente. Vsak otrok lahko porablja le svojo dodelitev, vsota dodelitev pa mora ostati znotraj starševskega proračuna. To prepreči tekmovanje za isti preostanek, vendar lahko eden od podagentov čaka, medtem ko ima drugi še neporabljen delež. Prenos deleža nazaj ali med podagenti mora prav tako potekati prek usklajene evidence.

V pogojnem primeru ima opravilo proračun enega evra. Trije podagenti rezervirajo 40, 35 in 25 centov. Čeprav račun za njihove klice še ni dokončen, je ves evro že rezerviran in naslednjega plačljivega klica ni dovoljeno poslati. Prostor se sprosti šele po zanesljivi uskladitvi katere od rezervacij ali po odobritvi dodatnega zneska.

Rezervacijo poravnajte z dejansko porabo

Rezervacija začasno zadrži zgornjo oceno stroška, dejanska poraba pa je znesek, ugotovljen po zaključenem klicu. Ko je končni strošek zanesljiv, ga izvajalnik knjiži kot porabljenega in neporabljeni del rezervacije vrne v razpoložljivi proračun. Tako lahko naslednji korak uporabi sproščeni znesek, ne da bi vzporedni klici medtem računali na isti denar.

Ocena mora vključiti vse vhodne dele zahtevka, tudi zgodovino pogovora, navodila in opise orodij, ter dovoljeni največji izhod. Uporabiti je treba ceno dejansko izbranega modela in načina obdelave. Primer za Responses API zajema stroške žetonov modela v opisanem načinu; dodatno zaračunana orodja potrebujejo lastno oceno in rezervacijo. Brez zgornje meje za tak strošek programska meja celotnega računa ni zagotovljena.

Če se povezava prekine po pošiljanju zahtevka, odsotnost odgovora še ne pomeni, da strošek ni nastal. Izvajalnik naj takšno opravilo blokira in rezervacije ne sprosti, dokler končnega stroška ni mogoče zanesljivo ugotoviti. Enako velja, če odgovor nima uporabnega podatka o porabi ali če dejanski strošek preseže rezervacijo: nadaljnjih klicev ni varno odobriti na podlagi domnevnega preostanka.

Ustavitev naj ohrani stanje opravila

Ko naslednji klic ne prestane preverjanja, izvajalnik shrani že pridobljene rezultate, dejansko porabo, odprte rezervacije in korake, ki jih še ni izvedel. Človeku lahko pokaže konkreten predlagani klic in znesek, potreben za nadaljevanje. Odobritev mora veljati za določen dodatek k istemu opravilu, da sta prvotni proračun in poznejša odločitev razvidna v evidenci.

Takšna odobritev konkretnega dejanja je uporabna, kadar mora človek poleg dodatnega stroška presoditi tudi naslednji korak agenta. Če dodatka ne odobri, se opravilo konča z že doseženimi rezultati. Meja tako odloči pred nastankom novega stroška, račun in opozorila pa ostanejo namenjeni spremljanju širše porabe.

Preberite tudi: