정확도 0.3% 차이인데 사람 검토는 9.6%p 벌어졌다…READY의 경고

Scale Labs는 기업용 AI 에이전트의 정확도와 함께 사람 검토 부담, 총운영비를 평가하는 READY 벤치마크를 2026년 9월 3일 공개했다. 현재 공개 범위는 의료 업무 두 종류이며, 페이지에는 16개 이상의 모델과 5,824개 임상 사례가 표시돼 있다.

Scale Labs의 초기 결과 에서 단독 정확도가 72.8%와 72.5%인 두 시스템은 불과 0.3%포인트 차이였지만, 76% 신뢰도 목표를 충족하는 데 필요한 사람 검토 비율은 각각 39.2%와 29.6%로 9.6%포인트 벌어졌다. 평균 정확도가 근소하게 높은 시스템이 실제 배치에서는 오히려 더 많은 사람의 개입을 요구한 것이다.

READY는 정확도 순위 대신 배치 정책을 평가한다

READY가 묻는 질문은 어떤 에이전트가 전체 문제를 가장 많이 맞혔느냐에 그치지 않는다. 주어진 품질 기준을 지키려면 어떤 결과를 자동 승인하고 어떤 결과를 사람이 확인해야 하는지, 그 조합 가운데 비용이 가장 낮은 정책은 무엇인지까지 평가한다.

2026년 9월 2일 공개된 READY 논문 은 후보 에이전트와 사람 검토 정책 중 목표 신뢰도를 충족하는 최소 비용 조합을 선택한 뒤, 분리된 데이터로 그 조건이 실제로 유지되는지 검증하는 절차를 제시한다. 정책을 고르는 데 쓴 표본에서 다시 성능을 입증하는 대신, 보지 않은 사례에서도 요구 조건을 만족하는지 확인하려는 설계다.

검토 정책은 모든 결과를 자동 처리하거나 모두 사람이 읽는 양자택일이 아니다. 에이전트가 사례마다 내놓는 신뢰 신호를 이용해 상대적으로 안전한 결과는 자동 승인하고, 오류 위험이 큰 결과는 검토 대기열로 보내는 방식이다. 결국 배치 효율은 정답을 맞히는 능력뿐 아니라 실패 가능성이 큰 사례를 구분하는 능력에도 좌우된다.

비슷한 정확도가 다른 검토 부담으로 이어진 이유

평균 정확도와 검토 효율은 같은 성질을 측정하지 않는다. 평균 정확도는 전체 사례 가운데 정답의 비중을 보여주지만, 오답이 어느 사례에 집중돼 있는지 또는 에이전트의 신뢰 신호가 실제 오류 위험과 얼마나 잘 맞는지는 설명하지 못한다.

자신이 틀릴 가능성이 큰 사례를 비교적 잘 가려내는 시스템은 자동 승인 범위를 넓히면서도 전체 품질 기준을 지킬 수 있다. 반대로 평균 정확도가 조금 높더라도 정답과 오답의 신뢰 신호가 뒤섞여 있다면, 위험한 결과를 놓치지 않기 위해 더 많은 사례를 사람에게 보내야 한다. 이번 비교에서 정확도 순위와 검토량 순위가 뒤집힌 배경이다.

여기서 신뢰도 목표는 모든 업무에 공통으로 적용되는 고정 기준이 아니다. 목표선을 높이면 자동 처리할 수 있는 범위가 줄어들 수 있고, 낮추면 반대가 될 수 있다. READY 결과의 핵심은 특정 검토율을 보편적인 기준으로 제시한 데 있지 않고, 동일한 목표 아래에서도 정확도만으로 검토 부담을 예측할 수 없다는 데 있다.

총운영비는 모델 호출료만으로 결정되지 않는다

READY가 비용을 별도 평가 축으로 둔 이유는 모델 실행비만으로 실제 배치 비용을 설명하기 어렵기 때문이다. 호출 비용이 낮은 에이전트라도 많은 결과를 전문가가 다시 확인해야 한다면 반복적인 검토 비용이 쌓인다. 실행비가 더 높은 시스템도 위험 사례를 잘 선별해 검토량을 줄인다면 전체 비용 비교에서는 유리해질 수 있다.

기업의 도입 평가표에는 따라서 에이전트의 단독 정확도, 업무가 요구하는 신뢰도 목표, 그 목표를 만족시키는 사람 검토 비율, 모델 실행비와 검토비를 합친 총비용이 함께 놓여야 한다. 정확도는 기본 성능을 나타내고, 검토율과 총비용은 그 성능을 실제 서비스 수준으로 끌어올리는 데 필요한 자원을 보여준다.

다만 공개된 검토 비율만으로 개별 기업의 절감액을 계산할 수는 없다. 실제 금액은 사례당 검토 시간, 검토자의 인건비와 전문성, 모델 가격, 오류가 발생했을 때의 손실에 따라 달라진다. 동일한 에이전트도 조직의 품질 기준과 비용 구조가 바뀌면 최소 비용 조합이 달라질 수 있다.

초기 결과는 의료 업무 밖으로 일반화할 수 없다

현재 READY는 모든 기업 업무를 포괄하는 종합 순위표가 아니다. 의료 과업은 품질 관리와 사람의 검토 책임이 중요한 환경이어서 정확도와 운영 부담의 차이를 드러내기 적합하지만, 이 결과만으로 고객지원이나 금융 심사, 소프트웨어 작업에서도 같은 순위가 재현된다고 볼 수는 없다.

평가 결과는 포함된 과업과 사례의 분포, 에이전트가 제공하는 신뢰 신호, 설정한 품질 목표와 비용 가정에 묶여 있다. 다른 데이터가 들어오거나 업무의 오류 비용이 달라지면 필요한 검토 범위도 바뀔 수 있다. 모델과 사례의 규모가 커도 이 방법론적 경계가 사라지는 것은 아니다.

또한 배치 시점에 검증된 정책이 데이터 환경의 변화 뒤에도 같은 품질을 유지한다는 보장은 없다. 실제 운영에서는 입력 유형과 이용자 행동이 바뀔 수 있으므로, 정책의 재검증 주기와 변화 감지 방식도 총운영비의 일부가 된다. 초기 벤치마크가 직접 답하지 않은 영역이다.

다음 검증 대상은 업무 확장성과 장기 운영이다

현재까지 확인된 결론은 제한적이지만 분명하다. 초기 의료 평가에서는 단독 정확도가 거의 같은 에이전트들이 동일한 품질 목표 아래 서로 다른 사람 검토 부담을 보였으며, 정확도 우위가 곧 운영비 우위를 뜻하지 않았다.

앞으로 필요한 것은 다른 기업 업무에서도 이런 역전이 반복되는지, 실제 조직의 검토 시간과 오류 비용을 넣었을 때 선택이 어떻게 달라지는지에 관한 결과다. 배치 후 데이터 분포가 변해도 선정된 정책이 목표 신뢰도를 유지하는지도 검증해야 한다. READY는 새로운 단일 우승자를 정했다기보다, 기업용 AI 에이전트를 정확도 하나로 고르는 평가 방식에 빠져 있던 비용과 사람의 업무량을 드러낸 단계다.

함께 읽기:

• Gemini 3.5 Transcribe의 반전, 오류율 2.6%인데 정확도 5위였다