Microsoft меняет контроль ИИ-агентов — одной проверки модели уже мало

Согласно официальной публикации Microsoft от 1 сентября 2026 года, компания выпустила третий ежегодный отчёт о прозрачности ответственного ИИ и переработала свой стандарт управления рисками. Главное изменение касается агентных систем: проверки поведения отдельной модели уже недостаточно, когда программа запоминает сведения, вызывает инструменты, получает доступ к данным и действует от имени пользователя.

Независимый разбор публикации фиксирует тот же переход к идентификаторам агентов, разрешениям и наблюдению за действиями, но подчёркивает важную границу: документ описывает внутренние правила и инструменты Microsoft, а не представляет собой независимую проверку их эффективности во всех продуктах.

Риск возникает во всей цепочке действий агента

Обычная оценка модели позволяет проверить ответы на подготовленных запросах, устойчивость к известным атакам и качество защитных ограничений. Агентная система шире: она связывает модель с приложениями, данными, памятью и инструментами, а затем выполняет несколько последовательных операций.

Каждый компонент может работать в допустимых пределах, но их сочетание создаёт новый риск. Условный пример: агент законно читает внутренний документ, сохраняет его содержание в памяти, а позднее включает эти сведения во внешнее сообщение через разрешённый канал. Причина инцидента в таком случае находится не только в модели, но и в настройке доступа, памяти и конечного действия.

Поэтому единицей контроля становится конкретный агент в конкретной среде. Важны не только его ответы, но и то, под какой учётной записью он действует, какие инструменты способен вызвать, какие сведения переносит между этапами задачи и где человек может остановить выполнение.

Стандарт Microsoft теперь охватывает весь технологический стек

Интерактивная версия отчёта Microsoft разделяет требования для моделей, платформенных сервисов и приложений, а также различает обязанности разработчика и организации, внедряющей систему. Защитные меры должны сопровождать агентные возможности на протяжении всего жизненного цикла, включая период после выпуска.

Предварительная проверка при этом сохраняется. Её дополняют моделирование угроз, оценка защитных мер, наблюдение за работой системы и реагирование после запуска. Такой подход учитывает, что поведение агента меняется вместе с доступными данными, подключёнными инструментами, пользователями и накопленным состоянием.

Практический пример внутри экосистемы компании — Copilot Cowork, предназначенный для многошаговых задач в Microsoft 365. Его защита сочетает доступ в пределах разрешений пользователя, подтверждение чувствительных действий, защитные ограничения и поэтапное внедрение. Это описание конкретного продукта, а не готовая конфигурация для любого стороннего агента.

Минимальный паспорт уже работающего агента

Из нового подхода можно вывести компактный шаблон контроля для небольшой команды. Это редакционная интерпретация принципов Microsoft, а не установленный компанией обязательный стандарт. Такой паспорт должен позволять связать каждую существенную операцию с определённым цифровым исполнителем, основанием доступа и ответственным человеком.

• Отдельный идентификатор. У агента должны быть уникальное обозначение, зафиксированное назначение, владелец и ответственное лицо с полномочиями остановить его работу. Общая техническая учётная запись затрудняет установление исполнителя конкретной операции.
• Ограниченные инструменты. В паспорте перечисляются доступные источники данных, сервисы и действия. Разрешения привязываются к назначению агента; расширение задачи требует повторной проверки доступа.
• Подтверждение рискованных операций. Удаление данных, изменение прав, внешняя отправка, публикация и финансовое действие отделяются от обычных шагов явным решением человека. Конкретный перечень зависит от процесса и возможного ущерба.
• Границы памяти. Нужно определить, какие сведения сохраняются, зачем они нужны, сколько времени доступны и как удаляются. Единого срока хранения для всех агентных систем Microsoft не устанавливает.
• Журнал действий. Запись связывает идентификатор агента, инициатора задачи, вызванный инструмент, использованное разрешение, запрос подтверждения и фактический результат. Отклонённые операции и ошибки также сохраняются для расследования.

Разрешения, память и журналирование работают только вместе

Одна мера не заменяет остальные. Ограниченный доступ не устраняет риск, если агент сохраняет чувствительные сведения и позднее использует их в другом разрешённом действии. Журнал помогает восстановить события, но сам по себе не предотвращает операцию, для которой не предусмотрено предварительное подтверждение.

Контроль поэтому должен охватывать полный маршрут задачи: исходное поручение, использованные данные, вызовы инструментов, изменение памяти и итоговое действие. На каждом этапе необходимо установить исполнителя, основание разрешения и наблюдаемый результат.

Рабочий тест такого контроля сводится к пяти вопросам: какой агент действовал, кто инициировал задачу, почему операция была разрешена, какие данные использовались и можно ли остановить либо отменить результат. Если на один из них нельзя ответить по настройкам и журналу, успешная оценка модели этот пробел не закрывает.

Что пока остаётся на стороне внедряющей команды

Опубликованные материалы не задают универсальный срок памяти, единый перечень рискованных операций или обязательный формат журнала. Эти параметры зависят от назначения агента, чувствительности данных, отраслевых требований и способности организации разбирать инциденты.

На 6 сентября подтверждено изменение самой рамки управления: Microsoft разделила требования по уровням технологического стека и перенесла внимание на непрерывный контроль агентных возможностей. Открытым остаётся вопрос практического покрытия — для оценки эффективности потребуются данные о применении мер в отдельных продуктах, исключениях, обнаруженных инцидентах и результатах независимых проверок.

Читайте также:

• Одной цели мало: что превращает намерение удалённого специалиста в результат
• Ограничивающие убеждения: почему одной аффирмации мало и что делать
• Одной скидки мало: 10 рекламных акций с понятной выгодой для клиента