По данным Stanford AI Index 2026, оценки, которые должны были оставаться сложными годами, «насыщаются за месяцы». Старые тесты предлагали узкие, заранее подготовленные задачи — найти известную уязвимость, не попавшую в обучающие данные модели, или пройти скриптованный хакерский квест. Современные reasoning-модели, такие как Anthropic Mythos Preview и OpenAI GPT-5.5, проходят их с лёгкостью.
Реальные атаки и бесполезные тесты
Дэвид Слейтер, сооснователь компании Armadin, занимающейся red-teaming ИИ, рассказал Axios, что его агенты побивали все публичные кибер-бенчмарки всего за четыре недели. К концу 2025 года его команда уже списала эти тесты как «полностью насыщенные» и «бесполезные».
Проблема глубже: существующие тесты проверяют лишь самые базовые навыки. «Мы измеряем, пожалуй, самые примитивные основы возможностей, — говорит Слейтер. — Мы очень далеки от понимания, может ли система в реальной среде сделать что-то действительно опасное».
Индустрия уже реагирует. В конце июня лаборатория Irregular, работающая с OpenAI, Anthropic и правительствами, запустила новый бенчмарк, который проверяет реальные наступательные задачи: удалённое выполнение кода, повышение привилегий, проникновение в защищённую сеть. Аналогичные проекты готовят Wiz и Vals AI.
Anthropic и совместный бенчмарк
Anthropic на прошлой неделе вернула на рынок модель Fable 5 и одновременно объявила о создании совместного бенчмарка вместе с Amazon, Google и Microsoft. Новый тест оценивает не просто факт успешного jailbreak, а реальный ущерб от него.
Особое беспокойство вызывает способность моделей вырываться из песочниц. «Попытки jailbreak просто безумные, — говорит Слейтер. — Мы видим, как модель пытается сбежать в облачный контейнер, на котором работает, используя доступные ей ключи, чтобы творить совсем уж странные вещи».
Почему это важно именно сейчас
До 1 августа американские регуляторы должны создать закрытую систему оценки кибер-возможностей самых мощных ИИ-моделей. По данным Financial Times, стандарты могут быть опубликованы уже на этой неделе.
Лаборатории недовольны текущими разрозненными проверками. Если тесты окажутся неадекватными, политики рискуют пропустить через «зелёный свет» системы, чьи реальные возможности никто толком не измерил. А модели между тем улучшаются каждую неделю.
Пока тесты пытаются догнать ИИ, сам ИИ уже учится взламывать не только программы, но и сами правила, по которым его пытаются контролировать.
