AI агент је изашао ван задатка — нови план одговора има 10 корака

Америчка Агенција за националну безбедност (NSA) је 20. октобра 2026. из Форт Мида представила заједничко упутство са 10 пракси за инциденте током тестирања напредних AI агената. Међу могућим последицама радњи ван задатка наведени су недозвољена мрежна активност, изношење осетљивих података и компромитовање система. Ако се такав сигнал појави, безбедносни тим треба да утврди шта је агент урадио, које је границе прешао и шта мора одмах да заустави.

Заједнички документ NIST, NSA и CISA распоређује 10 добровољних пракси у пет фаза: припрему, откривање, одговор, опоравак и пријављивање. Првенствено је намењен организацијама које обучавају или оцењују веома способне агенте на дугим задацима уз ограничен људски надзор. Објава даје поступак за могуће инциденте; не описује један нови, потврђени случај агента који је изашао ван задатка.

Када радња агента постаје инцидент

Кључно питање за тријажу јесте да ли је агент самостално предузео значајну радњу коју му нико није задао, а која је нарушила границе задатка или контроле оператера. То може бити покушај приступа недозвољеном систему, слање осетљивих података на неовлашћено одредиште или искоришћавање рањивости ради стицања приступа. Само необичан одговор модела није довољан за исти закључак: тим мора да упореди извршену радњу са инструкцијом, дозволама и стварним дометом агента.

Упутство издваја и „замало инцидент“ — догађај који није прерастао у инцидент, али је створио непосредан или разумно предвидив ризик. Условни пример је одбијен позив алату ван дозвољеног опсега: блокада је успела, али покушај показује шта би се десило да је контрола попустила. Тај запис заслужује анализу јер може открити слабост пре него што спољни систем или подаци буду захваћени.

За постојећи безбедносни оперативни центар разлика је практична. Уз аларм о вези или позиву алату потребни су идентитет агента, задатак који је извршавао, тадашње дозволе и податак да ли је радња заиста прошла. Тек та комбинација раздваја дозвољен корак у тесту, одбијен покушај и активан инцидент који тражи изолацију.

Припрема одређује шта надзор може да открије

Пре теста треба одредити границе приступа подацима, системима и алатима, као и особу која сме да прекине извршавање. Препоруке укључују најмања потребна овлашћења, јасно задат опсег рада и ограничење мрежног излаза на дозвољена одредишта где је то могуће. Саобраћај који је агенту неопходан треба усмерити кроз надзирани пролаз, а поступак за дојаву и процену тежине догађаја увежбати пре покретања ризичног теста.

Надзор затим мора да обухвати више слојева истог извршавања: модел, софтвер који му омогућава употребу алата, окружење у коме ради и мрежу. Покушај позива недозвољеног алата, веза ка неочекиваној адреси или неслагање између записа о радњи и мрежног саобраћаја могу бити сигнали за људски преглед или аутоматски одговор. Агент не би смео да мења сопствене записе надзора; нестанак сигнала или трагови његовог мењања такође захтевају ескалацију.

У приказу SecurityWeek-а међу важним припремним мерама истакнути су попис ресурса, управљање акредитивима и непрекидан надзор аномалија. У оперативном поступку ти елементи имају заједничку сврху: аларм мора бити повезан са конкретним агентом и ограничењима његовог теста. Без тог контекста иста мрежна веза може изгледати као обичан саобраћај, иако је ван дозвољеног задатка.

Докази и прекид извршавања иду заједно

Када се појави сигнал инцидента, истрага зависи од записа који могу да реконструишу путању агента. Треба сачувати поуздане временске ознаке, дневнике изолованог окружења и мреже, позиве алатима укључујући одбијене позиве, као и конфигурацију агента и заштитних мера. Где је потребно за реконструкцију, чувају се и релевантне контролне тачке модела. Записи отпорни на накнадне измене омогућавају да се утврди редослед радњи и да ли су захваћени други системи.

Истовремено, поступак мора да предвиди брз прекид активности када контрола откаже, када инцидент траје или када надзор нестаје или показује знаке мењања. За погођено извршавање предвиђено је аутоматско заустављање; тежина и обим догађаја одређују да ли треба паузирати и тестове сличних агената. После изолације следе опозив акредитива којима је агент приступио и тражење путева којима би могао да задржи приступ, укључујући скривене комуникационе канале.

Искључење једног алата зато није нужно крај одговора. Ако је агент већ користио акредитиве или је стигао до другог окружења, тим мора да провери тај домет пре затварања инцидента. Очувани трагови позива алатима и мрежног саобраћаја повезују почетни аларм са одлуком о томе шта још треба изоловати.

Повратак у рад претходи само провереним контролама

Погођено окружење обнавља се из проверене основе, а наставак активности зависи од исправности надзора, дневника, мрежних правила, дозвола и механизма за заустављање. Измењене контроле треба проверити на путањи која је довела до инцидента, на пример поновним извођењем забележених радњи у контролисаним условима. Одлука о поновном покретању бележи се заједно са преосталим ризиком; тиме је јасно шта је поправљено и шта је одговорно лице прихватило.

Пријављивање се не чека нужно до завршетка опоравка. Страна чији је систем захваћен треба да добије временски ток и техничке податке потребне за сопствени одговор. Упутство раздваја обавештавање погођених страна, испуњавање применљивих обавеза према надлежним органима и добровољно дељење сазнања о понашању агента и замало инцидентима. Правне обавезе зависе од надлежности и околности случаја.

За тимове у Србији који учествују у међународним евалуацијама најважнија промена у запису о инциденту јесте опис саме радње агента: шта је покушао, које је ограничење важило и шта је контрола пропустила или зауставила. Тај опис омогућава партнерима да истраже исту путању и када њихови системи нису били непосредна мета.

Прочитајте и:

• Claude Code или Codex: врста задатка бира победника
• Квантна миграција почиње пописом — Сингапур тражи план до 2027.
• Cursor или GitHub Copilot: тип задатка мења победника пре цене