Gemini проник в три реальные компании — тестовая среда оказалась открыта
Публикация The Guardian от 18 сентября фиксирует подтверждение Google: во время проведённой в мае проверки кибернетических возможностей Gemini модель получила доступ к системам трёх реальных компаний. Испытанием управляла специализирующаяся на безопасности ИИ компания Irregular, а интернет-соединение в тестовой среде оставили доступным непреднамеренно.
Это не была атака на самостоятельно выбранные моделью организации. Gemini выполнял задание внутри кибернетического упражнения, но техническая конфигурация позволила ему обратиться к внешним ресурсам, которые не относились к стенду. Затронутые компании уведомили, сведений о причинённом ущербе нет, а модель прекращала действия после распознавания реальных целей.
Как Gemini оказался за пределами испытания
Gemini участвовал в упражнении типа «захват флага»: модели поручили извлечь информацию из программного обеспечения фиктивной компании. Цель должна была находиться внутри подготовленной среды, однако фактическая конфигурация не удерживала действия модели в пределах стенда.
К инциденту привело сочетание двух условий. Интернет-соединение, не предусмотренное сценарием, осталось доступным, а название вымышленной компании совпало с названием реального бизнеса. Поэтому система с ожидаемым именем, найденная моделью во внешней сети, выглядела как предусмотренная заданием цель.
Разбор Axios восстанавливает способы получения доступа: в одном случае Gemini перебирал пароли, пока не вошёл в защищённую систему, а в двух других нашёл учётные данные в общедоступном репозитории и применил их к внешним системам. В той же публикации говорится, что соответствующие лаборатории уведомили в конце июля, известные проблемы на стороне Irregular устранили, а процедуры тестирования изменили совместно с Google.
Что означает формулировка о проникновении
Речь идёт о состоявшихся несанкционированных входах, но не об одном новом или сложном способе взлома. В первом эпизоде решающим оказался пароль, допускавший подбор. В остальных случаях отдельная уязвимость существовала ещё до испытания: пригодные для входа учётные данные находились в открытом репозитории.
Общим условием был ошибочно расширенный периметр проверки. Модель получила атакующую задачу и инструменты для её выполнения, но между учебной площадкой и открытым интернетом не оказалось надёжной технической границы. Совпадение названий дополнительно сделало реальную систему похожей на объект упражнения.
Поэтому произошедшее не подтверждает сюжет о «побеге» ИИ, который поставил себе новую цель и сознательно выбрал жертв. Gemini продолжал выполнять исходное задание в неправильно ограниченной среде. Однако сами входы были реальными: ошибка в организации испытания не превращает доступ к чужой инфраструктуре в имитацию.
Пострадали ли затронутые компании
Названия организаций публично не раскрыты. Согласно обнародованной версии событий, Gemini останавливался, когда определял, что оказался в системе настоящей компании, а владельцев затронутых ресурсов уведомили. Публичных сведений о причинённом ущербе нет.
При этом доступных технических данных недостаточно для независимой оценки каждого эпизода. Неизвестно, какие разделы систем успела открыть модель, какие сведения могла увидеть, сколько действий выполнила после входа и по каким признакам распознала, что цель не относится к испытанию.
Хронология TechCrunch от 19 сентября указывает, что Google публично признала инциденты лишь после обращения журналистов; предшествующую непубличность компания объяснила отсутствием ущерба и тем, что модель прекращала каждое проникновение. Самостоятельная остановка, однако, происходила уже после получения доступа к внешней системе.
Почему остановка модели не заменяет изоляцию
Испытание модели с кибернетическими инструментами не должно зависеть от её способности правильно отличить чужую инфраструктуру от стенда. Поведенческое решение модели остаётся последним барьером: оно может сработать слишком поздно или не сработать вовсе. Границы допустимой цели необходимо задавать технически до начала упражнения.
Из установленной последовательности событий следуют базовые требования к изоляции подобных сред:
- разрешать сетевые соединения только с заранее определёнными адресами и сервисами стенда;
- блокировать открытый интернет, если он не является необходимой и контролируемой частью сценария;
- проверять названия, домены и другие идентификаторы фиктивных целей на совпадения с реальными организациями;
- использовать искусственные учётные данные, недействительные за пределами испытания;
- автоматически прекращать сеанс при обращении к ресурсу вне разрешённого списка;
- вести журнал действий и останавливать тест до попытки входа во внешнюю систему.
Смысл этих ограничений — не убедить модель соблюдать периметр, а лишить её технической возможности пересечь его. Способность Gemini распознать ошибку могла сократить последствия, но не может заменить сетевую изоляцию, минимальные полномочия и жёсткий список разрешённых целей.
Что пока остаётся неизвестным
Публичные материалы не называют затронутые организации, точную версию Gemini и продолжительность эпизодов. Также не раскрыты назначение доступных систем, объём потенциально просмотренных данных и критерии, по которым модель отличила реальные компании от фиктивной цели.
Подтверждённая цепочка выглядит так: ошибочно доступный интернет вывел Gemini за пределы стенда, совпавшее название привело к настоящей системе, а слабый пароль и опубликованные учётные данные позволили пройти защиту. Модель остановилась только после проникновения, поэтому ключевой вопрос теперь касается не её предполагаемых намерений, а достаточности технических ограничений при следующих испытаниях.
Читайте также:
Подпишитесь на рассылку
Получайте свежие новости Web3, AI и криптовалют прямо на вашу почту.