Microsoft가 AI 책임 기준을 다시 썼다, 에이전트가 바꾼 규칙

Microsoft는 2026년 9월 1일 공식 해설 을 통해 세 번째 연례 Responsible AI Transparency Report를 공개하고, 사내 AI 개발·도입 기준인 Responsible AI Standard를 개편했다. 모델·플랫폼 서비스·애플리케이션을 구분하고, Microsoft가 각 기술을 개발하는지 배포하는지에 따라 요구사항을 달리 적용하는 것이 핵심이다.

이번 변화는 메모리를 유지하고 도구와 데이터에 접근하며 여러 단계의 작업을 수행하는 에이전트가 기존의 일회성 출시 심사만으로 관리하기 어려운 위험을 만들었다는 판단에서 나왔다. 독립 기술 매체 IT Brief도 표준 재설계와 에이전트 통제 확대 를 보도하며, 관리 범위가 출시 전 평가에서 수명주기 전체의 시험·관찰·개입으로 넓어졌다고 정리했다.

기준의 단위가 제품에서 기술 계층과 역할로 바뀌었다

개편된 표준은 AI 시스템을 하나의 완제품으로만 다루지 않는다. 모델, 플랫폼 서비스, 애플리케이션이라는 기술 계층을 나누고, 개발자와 배포자가 각각 통제할 수 있는 위험과 제출해야 할 근거를 구분한다. 하나의 기반 모델이 여러 플랫폼과 업무 애플리케이션에 사용되더라도 모든 책임을 모델 제공자에게 모으지 않는 구조다.

모델 계층에서는 평가 범위와 알려진 한계, 위험 완화 조치가 주요 검토 대상이 된다. 플랫폼 서비스에서는 데이터와 도구에 대한 접근, 보안 통제와 하위 애플리케이션에 제공되는 보호 기능이 중요해진다. 애플리케이션 계층은 실제 이용 목적, 사용자 집단, 사람의 감독과 이용자 고지처럼 배포 맥락에서 발생하는 위험을 다룬다.

새 표준은 모든 시스템에 적용되는 핵심 요구사항과 특정 위험 시나리오에 추가되는 요구사항도 분리한다. 기존에 독립적으로 운영되던 정책을 표준 안으로 통합하고 Security Development Lifecycle과의 연계도 강화했다. 기술이나 규제가 바뀔 때 전체 기준을 한꺼번에 고치지 않고, 해당 계층이나 시나리오의 요구사항을 조정하려는 설계다.

에이전트는 출시 전 심사를 지속 통제로 확장했다

에이전트의 위험은 생성한 답변의 내용만으로 판단할 수 없다. 어떤 신원으로 작동하는지, 어떤 데이터와 도구를 호출할 수 있는지, 무엇을 기억하는지, 사람의 승인 없이 어디까지 행동할 수 있는지가 실제 피해 가능성을 좌우한다. 여러 모델과 서비스가 연결된 환경에서는 권한이나 의존성이 운영 중 달라질 수도 있다.

이에 따라 통제 대상에는 에이전트 신원, 도구 권한, 작업 중 행동 관찰과 실행 시점의 개입이 포함된다. 에이전트 위협 모델링과 프롬프트 인젝션 방어, 안전 분류기, 반복 가능한 레드팀 시험도 배포 이후 변화하는 시스템을 계속 평가하기 위한 수단으로 제시됐다. 핵심은 에이전트가 정책 준수 여부를 스스로 판단하게 두는 것이 아니라, 워크플로의 중요한 지점에서 외부 통제가 작동하도록 하는 데 있다.

기업의 승인 범위도 최초 모델 버전에 머물기 어렵다. 실행 신원과 소유자, 접근 데이터, 호출 가능한 도구, 사람의 승인이 필요한 행동, 기록 항목과 중지 조건을 함께 관리해야 한다. 모델 교체, 도구 추가, 권한 확대, 메모리 구성 변경은 기존 승인을 다시 검토할 수 있는 변경 조건이 된다.

외부 AI에는 배포자가 수행할 네 단계가 추가됐다

새 기준은 Microsoft가 다른 공급자의 AI 애플리케이션을 사내에 도입할 때 적용하는 배포자 책임도 별도 장으로 만들었다. 보고서 웹판의 Deployer Chapter 는 이 절차를 평가, 배포, 탐지·대응, 고지의 네 단계로 제시한다.

1. 평가: 공급자 문서에서 애플리케이션의 기능과 한계, 보호조치, 모니터링 기능을 확인한다. 도입하려는 업무나 데이터 범위를 문서가 충분히 설명하지 못한다면 그 공백도 위험 판단에 포함한다.
2. 배포: 실제 운영 환경에서 생기는 위험을 검토하고 완화책과 감독 구조를 정한다. 사람의 판단과 책임을 유지할 지점, 접근 권한과 중단 조건도 배포 맥락에 맞춰 설정한다.
3. 탐지와 대응: 출시 후 성능과 이용자 의견, 사고를 감시한다. 문제가 발견되면 조사와 수정, 권한 축소 또는 사용 중단으로 이어질 대응 경로를 마련한다.
4. 고지: 이용자에게 의도된 용도와 한계, 적용된 보호조치를 알려 책임 있는 사용에 필요한 정보를 제공한다.

공급자 문서는 승인 절차의 출발점이지만 최종 보증서는 아니다. 실제 이용 목적과 데이터, 권한을 결정하는 배포 조직은 자사 환경에서 남길 기록과 검토 주기, 사고 판단 기준을 별도로 정해야 한다. 반대로 공급자가 공개하지 않은 안전 기능이나 효과를 추정해 승인 근거로 삼을 수도 없다.

국내 기업의 승인표는 계층과 단계 두 축으로 나눌 수 있다

이번 구조를 국내 기업의 AI 도입 승인표로 재구성하면, 가로축에는 모델·플랫폼·애플리케이션을 두고 세로축에는 평가·배포·운영 감시·고지를 놓을 수 있다. 각 칸에는 확인 자료, 남은 위험, 완화 조치, 승인자와 재검토 조건을 기록한다. 여러 계층을 가로지르는 에이전트는 신원과 권한, 메모리, 도구 호출, 행동 기록, 중지 절차를 별도 항목으로 관리하는 방식이 적합하다.

• 모델: 평가 대상과 한계, 금지되거나 제한된 용도, 위험 완화 결과
• 플랫폼 서비스: 데이터·도구 접근 범위, 인증과 권한 관리, 로그와 보안 통제
• 애플리케이션: 실제 업무 목적, 이용자 범위, 사람의 감독, 오류·사고 대응과 고지
• 에이전트 공통: 실행 신원, 허용된 행동, 승인 지점, 변경 감지와 즉시 중지 수단

책임자도 계층별로 구분할 필요가 있다. 공급자는 제품 문서와 자체 평가 근거를 제공하고, 내부 서비스 소유자는 이용 맥락과 권한을 정의하며, 보안·개인정보·준법 담당자는 각자의 통제 영역을 검토하는 식이다. 모델 변경이나 새 도구 연결처럼 재승인을 유발하는 조건을 최초 승인 기록에 포함해야 운영 이후에도 책임을 추적할 수 있다.

다만 이는 Microsoft의 내부 거버넌스 체계를 실무용 승인표로 옮긴 참고 구조다. 한국 기업에 직접 적용되는 법률이나 범용 인증 규격은 아니며, 개인정보·보안·산업별 규제 의무는 별도로 판단해야 한다.

통제 설계는 공개됐지만 효과 검증은 남아 있다

현재 확인된 변화는 Responsible AI Standard의 재설계, 기술 계층 및 개발자·배포자 역할의 분리, 에이전트 수명주기 통제, 외부 AI 애플리케이션 배포 절차다. 공개 자료는 Microsoft가 자사 조직에서 채택한 정책과 도구, 운영 사례를 설명하지만 모든 세부 조항을 외부 조직이 그대로 적용할 수 있는 공개 규격으로 제공하지는 않는다.

또한 각 통제가 전체 배포 환경에서 얼마나 일관되게 작동했는지, 사고나 피해를 어느 정도 줄였는지를 보여주는 독립 감사 결과는 이번 발표에서 확인되지 않았다. 따라서 이번 개편의 확정된 의미는 효과가 입증됐다는 데 있지 않다. 모델 출시 전 심사에 집중했던 책임 범위를 기술 스택 전반, 에이전트의 실행 과정, 외부 AI를 선택하고 운영하는 배포자의 사후 책임까지 넓혔다는 것이 현재 확인 가능한 결론이다.

함께 읽기:

• AI 에이전트가 샌드박스를 뚫었다, Hugging Face 사고의 전말