Dovoljenje »vprašaj« lahko spusti prekoračitev AI-agenta

AI-agentu določite najmanjši potreben dostop za vsako orodje posebej. Branje omejite na gradivo za nalogo, pisanje in pošiljanje vežite na določen cilj ter človeško potrditev, brisanje in porabo denarja pa pri agentu, ki teh dejanj ne potrebuje, tehnično onemogočite. Poziv »vprašaj« človeku prepusti odločitev o posameznem klicu; sam po sebi agentu ne odvzame zmožnosti, da klic predlaga.

V simulirani študiji s 113 udeleženci so uporabniško sestavljena pravila ustavila za 20,1 odstotne točke manj prekoračitev kot sprotna človeška odobritev, 133 od 148 izvedenih prekoračitev v skupini s pravili pa je sledilo človeški odobritvi. Rezultat velja za opisano simulacijo, vendar jasno pokaže omejitev potrjevanja: človek lahko odobri tudi dejanje zunaj prvotne zahteve.

Privzeta nastavitev je šele začetek

Za agenta, ki bere gradivo in pripravlja osnutke, določite ozko dovoljenje za branje. Navedite zbirke, mape ali polja, ki jih potrebuje, in omejitev uveljavite tudi v računu povezane storitve. Dovoljenje za branje celotnega pogona je širše od dovoljenja za branje določene mape, četudi sta obe operaciji označeni kot branje. Upoštevajte še izvoz: orodje, ki lahko prebrano vsebino pošlje drugam, ima tudi zmožnost pošiljanja.

Agentina dokumentacija dovoljenj opisuje splošne nastavitve Allow reads, Allow all, Ask in Deny all ter izjeme za posamezna orodja, ki preglasijo splošno nastavitev. Allow reads samodejno dovoli klice orodij, označenih kot samo za branje, za druge pa zahteva odobritev. Zato preverite, kaj orodje dejansko zmore in kako je označeno; ta splošna nastavitev sama še ne pomeni tehnične prepovedi vseh sprememb.

Matrika za branje, pisanje, pošiljanje, brisanje in porabo

Naslednja matrika je izhodišče za agenta, ki pripravlja povzetke in osnutke sporočil, ne opravlja pa nakupov ali čiščenja podatkov. Status pripišite dejanski operaciji in njenemu cilju. Če eno orodje lahko datoteko prebere, uredi in deli, zanj ne zadostuje enotna oznaka »dovoljeno«: vsako posledico obravnavajte posebej.

Branje — dovoljeno: imenovane mape, zapisi ali polja, potrebni za nalogo. Branje zasebnih sporočil ali nepovezane zbirke zavrnite pri viru podatkov, tudi če agent to predlaga kot bližnjico.
Pisanje — vprašaj: ustvarjanje ali urejanje osnutka v določenem delovnem prostoru. Orodje, ki lahko hkrati spremeni objavljen zapis ali produkcijsko nastavitev, razdelite na ožje operacije oziroma mu to zmožnost odvzemite.
Pošiljanje — vprašaj: pred odobritvijo pokažite dejanskega prejemnika, končno besedilo in priloge. Pošiljanje na prejemnike ali domene zunaj naloge blokirajte neodvisno od poziva.
Brisanje — prepovedano: agent za pripravo osnutkov ne potrebuje klica za trajno brisanje. Če druga naloga zahteva odstranjevanje, ji dodelite ločeno orodje in ustrezno omejeno pooblastilo.
Poraba — prepovedano: dostop do storitve naj ne pomeni tudi pravice do plačil ali naročil. Za nalogo, ki zahteva nakup, določite ločen obseg, omejitev zneska in potrditev konkretne transakcije.

Ta razvrstitev je predlog za opisano nalogo, ne univerzalno pravilo za vse agente. Njena vrednost je v jasni razliki med »vprašaj« in »prepovedano«: pri prvem lahko odobren klic steče, pri drugem ga mora izvajalec zavrniti tudi po uporabnikovem kliku.

Izjema orodja lahko obide splošni »vprašaj«

Vzemimo primer, v katerem ima agent splošno nastavitev Ask, orodje za pošiljanje sporočil pa lastno dovoljenje Allow. Klic tega orodja tedaj steče brez potrditve. Ob spremembi splošne politike zato preglejte tudi izjeme za vsa priključena orodja, zlasti tista, ki pošiljajo, brišejo ali trošijo.

Posebej preverite trajne odobritve. Če želite odobriti samo trenutni klic, ne izberite možnosti, ki prihodnje klice istega orodja samodejno dovoli. Pregled seznama izjem dopolnite s poskusnim klicem: odločilen je opaženi rezultat, ne namen, ki ga skrbnik pripiše imenu nastavitve. Enako ponovite, ko dodate novo orodje ali obstoječemu razširite zmožnosti.

Človek mora videti posledico svoje odločitve

Poziv za potrditev naj pokaže dejanje v obliki, ki jo lahko pregledovalec presodi. Pri pošiljanju so to prejemnik, vsebina in priloge; pri urejanju cilj ter predlagana sprememba; pri plačilu prejemnik in znesek. Splošni poziv, da agent »želi nadaljevati«, ne pokaže, ali je predlog znotraj naročene naloge.

Določite, kdo sme potrditi posamezno vrsto dejanja in ali odobritev velja za en klic ali širši obseg. Če se zahteve vrstijo brez jasne razlike med posledicami, jih razvrstite natančneje in zmanjšajte število dovoljenih operacij. Smisel potrditve konkretnega dejanja je presoja določenega učinka, ne splošno dovoljenje agentu za nadaljevanje.

Trdo mejo uveljavite pri orodju ali storitvi

Za dejanje, ki mora ostati prepovedano, agentu odvzemite pot do izvedbe. Izključite nepotrebno orodje, omejite obseg pooblastila povezanega računa ali pri storitvi zavrnite nedovoljene cilje in operacije. Če ima račun še vedno pravico do brisanja, je naravnojezikovno navodilo »ne briši« odvisno od agentovega ravnanja; zavrnitev pri storitvi velja tudi ob napačno razumljeni zahtevi.

Konceptni osnutek NIST-ovega NCCoE kot vprašanja za zasnovo agentov izpostavlja najmanjše potrebne pravice, dokaz pooblastila za posamezno dejanje, delegiranje ter povezavo dejanj z revizijsko sledjo. Gre za osnutek projekta; za skrbnika je praktično merilo, ali lahko izvajalec ali ciljna storitev pred izvedbo preveri dovoljenje, tudi kadar agent dejanje vztrajno predlaga.

Pred uvedbo preizkusite zavrnitve

V poskusnem okolju nastavite enake pravice in izjeme, kot jih načrtujete za uporabo. Preverite uspešno branje dovoljenega gradiva, nato pa namerno sprožite tudi nedovoljena dejanja:

Zahtevajte branje mape zunaj dovoljenega obsega. Preverite, ali storitev zavrne dostop, preden agent prejme vsebino.
Poskusite poslati sporočilo nedovoljenemu prejemniku. Človeška odobritev ne sme preglasiti omejitve prejemnikov.
Poskusite trajno izbrisati datoteko in izvesti plačilo. Preverite zavrnitev pri orodju ali storitvi, ne zgolj agentovega odgovora, da dejanja ne bo opravil.
Nastavite splošni Ask ob orodju z izjemo Allow, preverite učinek izjeme, jo odstranite in klic ponovite.

Za vsak poskus zabeležite zahtevo, odločitev o dovoljenju in dejanski rezultat. Če prepovedan klic uspe po izrecni zahtevi ali pomotni potrditvi, popravite pooblastilo ali povezavo z orodjem in preizkus ponovite pred uvedbo.

Preberite tudi: