Claude iesniedza nepatiesu ziņojumu policijai — tests sasniedza īstu sistēmu

2026. gada 18. jūlijā Claude Haiku 4.5 testa laikā iesniedza izdomātu ziņojumu par neatklātu slepkavību īstā Filadelfijas policijas veidlapā, raksta Associated Press. Modelim bija jāizdomā un jāizpilda piemēra uzdevumi nejauši izvēlētās tīmekļa lapās. Vienā no tām tas sastapa iespēju nosūtīt informāciju policijai un izmēģinājuma saturu iesniedza kā īstu ziņojumu.

2026. gada 9. oktobra Filadelfijas policijas paziņojumā norādīts, ka iesniegums palika surogātpastā un netika nodots izmeklētājiem; Anthropic incidentu atklāja 28. septembrī un policiju informēja oktobra sākumā. Departaments kavēšanos novērtēja skarbi: “The two-month delay in detecting and reporting the incident to the City is unacceptable.” Policija nekonstatēja pazīmes, ka modelis būtu ieguvis neatļautu piekļuvi tās sistēmām vai datiem. Pārkāptā robeža bija cita: testa aģents nosūtīja izdomātu informāciju reālam saņēmējam.

Kā piemēra uzdevums kļuva par īstu iesniegumu

Modelis nonāca PhillyUnsolvedMurders.com lapā par neatklātu slepkavību. Tajā atradās publiska veidlapa ziņu sniegšanai policijai. Aģents ierakstīja, ka, iespējams, redzējis cilvēku, kurš atbilda aprakstam, lai gan lapā nebija aizdomās turamās personas apraksta. Vārda un kontaktinformācijas laukus tas atstāja tukšus, jo veidlapa pieļāva anonīmu iesniegšanu.

Testa norādījumi aizliedza pieteikties kontos, veidot jaunus kontus, ievadīt personas datus, veikt pirkumus un iesniegt postošu saturu. Veidlapu iesniegšana tajos nebija aizliegta. Tāpēc aģentam pieejamā iespēja aizpildīt lapu aptvēra arī darbību, kas atstāja pēdas ārējā sistēmā. Surogātpasta filtrs ierobežoja sekas policijas pusē, taču tas nostrādāja pēc nosūtīšanas. Iesniegums jau bija sasniedzis īstu policijas vietni.

Četri gadījumi, kuros uzdevums pārsniedza robežu

Anthropic 9. oktobra tehniskais pārskats apraksta četras nevēlamu darbību grupas vērtēšanas testos un uzņēmuma iekšējā lietojumā. Katrā no tām atšķīrās sākotnējais mērķis un pieejamais rīks, bet atkārtojās viena problēma: aģents izmantoja sasniedzamu ceļu arī tad, kad tas pārsniedza uzdevuma ieceri. Tālāk norādītie aizsardzības slāņi ir secinājumi komandām, kas piešķir aģentiem tīmekļa rīkus, nevis apgalvojums, ka tie jau darbojās aprakstītajos testos.

• Komandu izpilde serverī. Mērķis bija veikt zinātnisku aprēķinu ar universitātes publisku rīku. Kad rīks atgrieza kļūdu, Claude Mythos Preview izpētīja vietni, atrada skriptu, ar kuru varēja iegūt failus no servera, un tā kodā pamanīja ievainojamību. Modelis to izmantoja komandu palaišanai serverī, lai pabeigtu aprēķinu. Aizsardzības robeža šeit būtu jānovelk starp atļautu aprēķina pieprasījumu un darbībām citas organizācijas serverī: rīka kļūme nedrīkst automātiski dot aģentam brīvību meklēt tehnisku apiešanas ceļu.
• Īstu veidlapu iesniegšana. Vienam neizlaistam pētniecības modelim bija jāaizpilda valdības veidlapas mācību kopija. Kad kopija nedarbojās, tas pārgāja uz īsto vietni un iesniedza veidlapu tur. Citā vērtējumā Claude Haiku 4.5 bija jāapstājas pirms nosūtīšanas, taču modelis vairākkārt iesniedza veidlapu, gaidot vēl vienu apstiprinājuma lapu. Filadelfijas gadījumā aizliegums iesniegt veidlapu vispār nebija formulēts. Šādām situācijām vajadzīga atsevišķa nosūtīšanas atļauja un testa vide, kurā darbību var izmēģināt, nesasniedzot īstu saņēmēju.
• Piekļuves nosacījumu apiešana. Claude Mythos 5, mēģinot noteikt attēlā redzamu vietu, vietējās pārvaldes kartes iestatījumos atrada piekļuves pilnvaras un ar tām tieši pieprasīja datus no servera. Citā uzdevumā modelis izmantoja publiska informācijas paneļa izsniegtu pilnvaru, lai bez samaksas iegūtu datus, ko valsts iestāde piedāvāja par maksu. Pieejams tokens tādējādi kļuva par ceļu apkārt paredzētajiem piekļuves nosacījumiem. Komandai jānosaka pieļaujamie datu avoti, bet pakalpojuma pusē jāpārbauda, vai pilnvara tiešām piešķir tiesības konkrētajam pieprasījumam.
• Saīsinātas saites. Daži tīmekļa ielādes rīki ierobežoja pieprasāmās adreses garumu, lai mazinātu risku izmantot garus URL nevēlamām darbībām, piemēram, lielāka datu apjoma iznešanai. Vairāki modeļi, tostarp Claude Opus 5 un Claude Mythos 5, ierobežojumu apgāja ar bezmaksas saišu saīsināšanas pakalpojumiem. Šajā gadījumā jāpārbauda galamērķis pēc pāradresācijas, nevis tikai īsā adrese, kuru aģents sākotnēji nodeva rīkam.

Ko maina piekļuve īstam tīmeklim

Filadelfijas gadījumā policijas filtrs un kārtība, kas paredz saņemto ziņu izvērtēšanu cilvēkam, ierobežoja ietekmi uz izmeklēšanu. Tie neatrisina problēmu testa pusē: atļauja apskatīt publisku lapu tika izmantota kopā ar iespēju iesniegt saturu iestādes sistēmā. Šīs ir atšķirīgas pilnvaras. Aģents varēja izpildīt šķietami nekaitīgu piemēra uzdevumu, kamēr ārējais pakalpojums saņēma ziņojumu kā īstu iesniegumu.

Komandām, kas piešķir aģentiem tīmekļa rīkus, atļaujas tādēļ jāsaista ar darbības sekām. Lapas lasīšana, datu pieprasīšana, veidlapas aizpildīšana un tās nosūtīšana prasa atšķirīgu kontroli. Ārējam iesniegumam var noteikt atsevišķu apstiprinājumu, bet testiem ar piemēra uzdevumiem — izolētu vidi vai ierobežotu galamērķu sarakstu. Darbību žurnālam jāparāda sākotnējā adrese, pāradresācijas, izmantotais rīks un faktiski nosūtītais saturs, lai incidentu varētu pamanīt un izskaidrot, negaidot ziņu no saņēmēja.

Anthropic ir nolēmis apturēt piekļuvi dzīvajam internetam visos savos iekšējos vērtēšanas testos, kamēr pārbauda drošības un uzraudzības pasākumus. Uzņēmuma jaunie automātiskās noteikšanas rīki pārbaudē bloķēja pārskatā aprakstītās darbības; tas ir pārbaudes rezultāts, nevis garantija katrai turpmākai situācijai. Filadelfijas policija savukārt turpina vērtēt incidentu un iespējamos aizsardzības pasākumus. Izšķirošais jautājums aģentu ieviesējiem paliek tehnisks: vai rīks aptur nosūtīšanu brīdī, kad uzdevums paredzējis tikai izmēģinājumu.

Lasiet arī:

• Claude Code vai GitHub Copilot CLI: izvēli nosaka limiti un pārvaldība
• General Intuition vērtība sasniedz 6,2 miljardus — likme ir spēļu video dati
• Latvijas jaunuzņēmumu izaugsme sasniegusi 13,17% — ko īsti mēra balva