AI가 시험 문제를 미리 봤나…첫 이중맹검 평가가 막으려는 것

Google DeepMind, MLCommons, OpenMined, AVERI, 싱가포르 AI 안전연구소는 2026년 8월 27일 비공개 AI 모델과 미공개 평가 문항을 서로 노출하지 않은 이중맹검 평가 실증 결과를 발표했다. Google DeepMind의 발표 는 이를 독점적 프런티어급 모델을 대상으로 한 세계 최초의 이중맹검 평가라고 규정했으며, Gemini Flash Lite 모델을 Google Cloud의 Confidential Space에서 시험했다고 밝혔다.

이번 실증에서 모델 제공자는 외부 평가자의 시험 프롬프트를 볼 수 없고, 평가자는 모델 가중치를 열람할 수 없었다. 핵심 성과는 Gemini의 우수한 성적이 아니라 두 비공개 자산을 실제 평가 순간에만 격리된 환경에서 결합했다는 점이다. 이 구조는 문항이 모델 개발 과정에 흘러들어 가는 벤치마크 오염 위험을 줄이지만, 문항의 대표성이나 채점 기준의 타당성까지 증명하지는 않는다.

‘문제를 미리 봤다’는 의심이 점수를 흔드는 이유

벤치마크 오염은 시험 문항이나 매우 유사한 자료가 모델의 사전학습, 미세조정 또는 출시 후 개선 자료에 포함되는 문제다. 오염된 모델이 높은 점수를 받으면 처음 접한 과제를 해결한 것인지, 이미 익힌 답의 패턴을 재현한 것인지 분리하기 어렵다. 제목의 ‘문제를 미리 봤나’는 모델이 사람처럼 시험지를 훔쳐봤다는 뜻이 아니라 이런 노출 가능성을 가리킨다.

폐쇄형 모델의 외부 평가에는 서로 충돌하는 비밀이 있다. 평가기관이 회사의 API나 서버로 문항을 보내면 제공자가 시험 내용을 수집하거나 이후 학습에 이용할 가능성을 배제하기 어렵다. 반대로 평가기관의 자체 장비에서 모델을 실행하려면 회사가 핵심 지식재산인 가중치와 추론 코드를 넘겨야 할 수 있다.

계약과 무로그 정책은 이 위험을 관리하는 기존 수단이지만, 합의한 코드와 자산만 실행됐음을 그 자체로 입증하지는 못한다. 이중맹검 구조가 추가하는 것은 상대방을 믿겠다는 약속이 아니라, 어느 쪽도 상대의 비밀을 직접 받을 필요가 없도록 만든 기술적 격리다. 따라서 직접 막으려는 대상은 평가 전후의 정확한 비공개 문항 노출과 그 문항을 이용한 고의적·우발적 최적화다.

모델과 문항이 보안 실행환경에서 만나는 과정

평가에 사용된 모델은 Gemini 2.5 Flash-Lite였다. 모델 가중치와 추론 코드는 컨테이너화돼 보안 실행환경으로 전달됐고, 평가 프롬프트와 평가 코드도 별도의 암호화된 경로로 제출됐다. 두 자산은 일반 서버나 참여 기관의 작업 공간이 아니라 하드웨어로 격리된 GPU 엔클레이브 안에서만 함께 처리됐다.

PySyft는 비공개 코드와 자산의 제출, 검토, 승인, 실행을 조정했다. 양측은 원격 증명으로 실행환경과 소프트웨어 구성을 확인하고, 상대가 제출한 코드가 허용된 범위에서 작동하는지 검토한 뒤 실행을 승인했다. 계산이 끝나면 사전에 합의한 결과만 지정된 수신자에게 전달되고 임시 실행환경은 종료되는 구조다.

이 절차에서 모델 제공자는 자기 모델을 계속 소유하지만 평가 문항은 열람하지 못한다. 평가자는 모델을 시험하고 출력을 채점할 수 있지만 가중치를 내려받거나 복제할 수 없다. ‘이중맹검’은 모델과 평가자가 서로의 정체를 모른다는 뜻이 아니라, 모델 소유자의 비공개 자산과 평가자의 비공개 자산을 상호 격리한다는 의미로 사용됐다.

MLCommons 문항을 AVERI가 실행하고 채점했다

MLCommons의 실증 설명 에 따르면 평가에는 AILuminate 안전성 벤치마크에서 따로 보존한 미공개 프롬프트 일부가 사용됐고, AVERI가 OpenMined의 보안 계산 기술로 컨테이너화된 모델에 문항을 실행했다. 시험 데이터는 개발자에게, 모델 가중치는 벤치마크 제작자와 감사자에게 공개되지 않았다.

역할은 한 기관에 집중되지 않았다. Google DeepMind는 모델을, MLCommons는 보존 문항을 제공했고, AVERI는 문항을 암호화해 평가를 실행한 뒤 출력을 복호화하고 AILuminate 기준으로 채점했다. OpenMined는 실행을 조정하는 소프트웨어를 제공했으며, 별도의 실증에서는 싱가포르 환경에 맞춘 유해 콘텐츠 유도 프롬프트도 사용됐다.

다만 이는 참여 기관들이 공동으로 수행한 개념검증이지, 무관한 제3자가 공개 자료만으로 결과를 반복한 독립 재현은 아니다. 평가 결과도 공개 순위표나 모델 비교 성적으로 발표되지 않았다. AVERI에는 성공·실패 유형과 소규모 정량 결과를 담은 기밀 보고서가 전달됐지만, 실제 프롬프트와 출력 및 세부 점수는 공개되지 않았다.

오염을 줄여도 시험의 품질과 재현성은 남는다

비공개 문항을 정확히 숨겼다는 사실과 좋은 시험을 설계했다는 사실은 다르다. 문항이 실제 위험을 대표하지 못하거나 표본이 좁고 채점 기준이 부정확하다면, 완벽하게 격리해 실행해도 결과의 해석 범위는 제한된다. 모델이 정확히 같은 문항을 본 적은 없어도 같은 출처나 매우 유사한 자료를 학습했을 가능성 역시 이 구조만으로는 제거되지 않는다.

보안 장치 자체에도 신뢰 경계가 남아 있다. 공동 이중맹검 평가 기술 보고서 는 Gemini 실행 과정의 독점 구현을 모두 검사하거나 허용 목록에 넣지 못했고, Confidential Space 게스트 운영체제의 개별 빌드는 독립적으로 재현할 수 없으며, 증명 보고서의 서명과 검증에 Google 서비스가 들어간다고 명시한다. 연구진은 이 조건이 검증 경로에서 Google에 대한 신뢰를 늘린다고 평가했다.

이 때문에 암호 기술이 모든 신뢰를 없앴다고 보기는 어렵다. 신뢰 대상이 모델 회사 한 곳에서 하드웨어 제조사, 클라우드 운영자, 소프트웨어 구성, 코드 검토와 원격 증명 절차로 분산된 것이다. 엔클레이브는 합의한 환경에서 비밀 자산이 처리됐다는 근거를 강화하지만, 공개되지 않은 문항과 출력 때문에 외부 연구자가 같은 실험 전체를 그대로 반복하기는 어렵다.

현재 확인된 것은 Gemini 2.5 Flash-Lite와 실제 비공개 평가 자산을 사용한 제한적 실증이 완료됐다는 사실이다. 여러 회사의 폐쇄형 모델이 이용할 수 있는 상용 서비스나 업계 표준이 출시된 것은 아니다. 다음 단계로는 더 큰 모델을 위한 분산형 기밀 클러스터, 사람이 많이 개입하는 법률 합의와 코드 검토의 표준화, Google이 포함된 검증 경로의 개선이 제시됐다.

따라서 이번 ‘첫 이중맹검’의 의미는 AI의 실력을 새로 확정했다는 데 있지 않다. 모델 제공자가 시험 문제를 보지 않았고 평가자가 모델 가중치를 가져가지 않았다는 주장을 기술적 격리와 실행 증명으로 뒷받침한 첫 실증이라는 데 있다. 시험장 문을 잠그는 방법은 보여줬지만, 그 안의 시험이 실제 능력을 얼마나 정확히 재는지는 별도의 검증 과제로 남았다.