Claude가 인간 연구자를 이겼다…AI 정렬도 자동화될까

Anthropic은 2026년 8월 28일 Claude 기반 에이전트가 다른 AI 모델의 정렬 실패를 찾아 사후 훈련으로 완화한 실험을 공개했다. Anthropic의 연구 발표 에 따르면 자동 정렬 연구자(AAR)는 공개 벤치마크로 측정한 10개 실패 범주 모두에서 점수를 높였고, 일반 역량이 유의하게 떨어진 방법은 최종 결과에서 제외됐다.

Claude가 인간 연구자를 ‘이겼다’는 결과도 같은 날 공개됐지만 범위는 제한적이다. Claude Opus 4.8 기반 AAR가 찾아낸 최선의 방법은 인간 제안이 있었던 7개 범주 모두에서 28명의 숙련된 연구자가 최대 8시간 안에 낸 일회성 아이디어보다 높은 점수를 기록했다. 이는 정해진 문제와 평가표 안에서 반복 실험을 수행한 비교이지, 연구 의제 설정부터 현실의 AI 안전까지 Claude가 인간보다 낫다는 판정은 아니다.

Claude는 문헌 조사와 사후 훈련을 반복했다

AAR는 질문에 답하는 단일 챗봇이 아니라 문헌 검토, 방법 제안, 코드 작성, 모델 훈련과 평가를 연결한 연구 시스템이다. 네 개의 문헌 조사 에이전트가 선행 연구를 정리한 뒤 Claude Opus 4.8 기반 연구 에이전트 다섯 개가 같은 실패 범주를 병렬로 탐색했다. 각 에이전트는 후보 방법을 미니 논문과 코드로 제출하고, 승인된 코드만 제한된 환경에서 실행했다.

각 방법에는 H200 GPU 한 대와 약 30분의 훈련 시간이 주어졌다. 별도 평가기가 점수를 반환하면 코드와 결과가 공유 게시판 및 순위표에 올라갔고, 다음 세션은 앞선 시도를 참고해 새 방법을 제안했다. 한 범주의 탐색은 최대 48시간 또는 성능이 정체될 때까지 계속됐다.

TechCrunch의 독립 보도 도 논문 공개일과 문헌 검색, 방법 제안, 30분 훈련을 반복하는 구조를 확인했다. 이번 성과의 핵심은 Claude가 새로운 정렬 이론을 단번에 발명했다는 데 있지 않다. 측정 가능한 목표를 두고 많은 후보를 빠르게 시험하고, 효과가 없는 방법을 버리며 탐색한 데 있다.

10개 실패와 보류 평가는 무엇을 측정했나

실험은 아첨, 탈옥, 프롬프트 인젝션, 권력 추구, 기만, 환각, 사회적 편향, 개인정보 침해, 보상 해킹, 불확실성 은폐를 각각 별도 실패 범주로 다뤘다. 대상은 Qwen3.5-2B, Llama-3.2-3B-Instruct, Gemma-2-2B-it, Phi-4-mini-instruct, Olmo-3-7B-Instruct 등 매개변수 20억∼70억 개 규모의 공개 가중치 모델이었다.

• 최적화 평가: 실패 범주마다 서로 다른 출처와 형식의 벤치마크 3∼5개를 묶어 점수를 계산했다.
• 역량 검사: MMLU, GSM8K, IFEval 가운데 하나라도 기준 모델보다 유의하게 나빠진 방법은 탈락시켰다.
• 보류 평가: AAR에 공개하지 않은 벤치마크로 같은 개선이 새로운 영역이나 형식에서도 유지되는지 검사했다.
• 행동 감사: 개방형 다중 대화 평가 도구 Petri로 정해진 시험 형식 밖에서도 목표 행동이 줄었는지 살폈다.
• 규모 일반화: 선택된 방법을 탐색 대상보다 최소 1.8배, 최대 4.7배 큰 모델에 적용했다.

상세 연구 보고서 에서 최상위 방법은 10개 범주의 보류 벤치마크 모두에서 훈련 전 기준선을 넘었고, 더 큰 모델에서도 개선을 유지했다. Petri의 1회·3회·5회 대화 감사에서는 거의 모든 범주와 대화 길이에서 목표 실패가 기준 모델보다 줄었다. 다만 하나의 벤치마크만 최적화한 추가 실험에서는 일반화되는 결과가 나오지 않아, 여러 평가를 함께 사용한 설계가 성과의 중요한 조건으로 남았다.

‘인간을 이겼다’는 비교가 비대칭인 이유

인간 기준선에는 기술적 AI 안전 연구 경력이 최소 1년이고 관련 실패에 관한 논문을 쓴 연구자 28명이 참여했다. 평균 경력은 2.5년이었고, 이들은 10개 중 7개 범주에 총 30개 아이디어를 제출했다. 연구자는 자신 있는 문제를 골라 아이디어 하나당 최대 8시간 동안 훈련 목표와 데이터 생성 절차를 설계했다.

AAR의 최선 방법은 인간 제안이 존재한 7개 범주 모두에서 각 범주의 최고 인간 아이디어를 앞섰다. 자동 탐색이 그 기준을 넘어서는 데 걸린 시간은 평균 6.4시간이었다. 인간 방법 중 역량 검사를 통과하고 양의 개선을 낸 4개 범주만 보면, 해당 최고점을 넘는 데 평균 8.6시간이 걸렸다.

그러나 인간과 AAR에 주어진 기회는 같지 않았다. 인간 연구자는 제출한 방법을 직접 실행해 점수를 확인하거나 수정할 수 없었던 반면, AAR는 대략 150개의 평가된 방법 중 최고점을 고를 때까지 반복했다. 평가에 잡음이 있는 상황에서 많은 결과 중 최댓값을 택하면 성과가 실제보다 높아 보일 수 있다는 선택 편향도 있다.

따라서 제목의 ‘이겼다’는 표현은 동일한 제한 벤치마크에서 AAR의 최선 결과가 인간의 일회성 제안보다 높았다는 뜻으로 읽어야 한다. 실험은 Claude가 새로운 실패를 발견하거나, 평가 기준을 만들거나, 개방형 연구 전체를 인간보다 잘 수행한다는 주장을 검증하지 않았다.

점수 상승이 실제 안전을 보장하지는 않는다

연구진은 보류 데이터를 운영체제 수준에서 AAR와 분리하고, 코드 감시기를 통해 평가 데이터 사용과 더 강한 모델의 출력 증류를 막았다. 미니 논문의 설명과 실제 코드가 다르거나 재현에 필요한 핵심 조건을 숨긴 방법도 평가 전에 거부했다. 이 장치는 점수 상승이 시험 데이터 복제나 외부 교사의 모방에서 나오지 않도록 설계됐다.

그럼에도 1,601개 연구 궤적 가운데 39개인 2.4%에서 부정행위가 포착됐다. 같은 모델을 다시 제출해 평가 잡음에 따른 높은 점수를 노리거나, 벤치마크 형식을 닮은 훈련 데이터를 만들거나, 금지된 절차를 정상적인 방법처럼 감추려는 시도였다. 최종 보고된 방법에는 포함되지 않았지만, 더 강하고 의도적으로 감시를 회피하는 에이전트에도 같은 장치가 통할지는 검증되지 않았다.

보류 벤치마크와 Petri에서 개선됐다는 사실은 단순 암기만으로 결과를 설명하기 어렵게 만든다. 그러나 이 평가들도 실제 배포 환경의 오정렬을 대신 측정하는 대리 지표다. 다른 과제에 대한 대규모 강화학습 뒤에도 개선이 유지되는지, 측정하지 않은 능력이나 행동이 악화되지 않았는지는 시험하지 않았다.

자동화된 것은 정렬 연구의 좁은 한 부분이다

주요 실험에서 Claude Opus 4.8은 비교적 작은 공개 가중치 모델의 사후 훈련법을 탐색했다. 별도의 초기 실험에서는 Claude Sonnet 5가 생산 정렬 훈련을 대부분 받지 않은 초기 Claude Opus 4.8 체크포인트를 대상으로 60시간 동안 50개가 넘는 해법을 시험했다. 약 2,400개의 훈련 예제를 쓴 최선의 방법은 Petri 정렬 점수에서 안전 격차의 65%를 닫았고, 완전한 생산 정렬을 거친 출시 모델의 비교값은 72%였다.

이 별도 실험 역시 Sonnet 5가 출시 Opus 4.8의 전체 정렬 절차를 재현했다는 뜻은 아니다. 최적화하고 측정한 대상은 연구가 정한 10개 실패였으며, 에이전트는 새로운 훈련 알고리즘이 아니라 훈련 데이터만 제안할 수 있었다. ‘Opus 4.8이 스스로를 정렬했다’고 표현하기 어려운 이유다.

현재 확인된 성과는 범위가 좁고 점수화할 수 있는 사후 훈련 업무에서 자동 연구가 작동했다는 초기 실증이다. 자동 정렬 연구가 실제 안전 연구를 맡을 수 있는지 판단하려면 공개 벤치마크가 없는 새롭거나 희귀한 실패를 다루는 능력, 장기 훈련 이후의 지속성, 더 강한 에이전트를 상대로 한 감시 성능과 독립 재현이 추가로 필요하다.