Gemini 3.5 Transcribe의 반전, 오류율 2.6%인데 정확도 5위였다

Google은 2026년 8월 26일 Gemini 3.5 Transcribe 공개 발표 에서 비스트리밍 평균 단어 오류율(WER) 2.6%, 스트리밍 WER 4.0%를 제시하고 개발자용 모델을 공개 프리뷰로 선보였다. 이튿날 확인된 Artificial Analysis 비교판에서 비스트리밍 모델의 순위는 5위였다.

즉 2.6%는 낮은 절대 오류율이지만 전체 1위를 뜻하지 않는다. 이번 결과를 한국어 음성 서비스에 적용하려면 비스트리밍과 실시간, Artificial Analysis와 FLEURS, 축어 전사와 자동 문장 정리를 서로 다른 조건으로 나눠 봐야 한다.

2.6%인데 5위였던 이유

WER은 기준 대본과 전사 결과 사이에서 대체되거나 누락되거나 추가된 단어의 비율이다. 수치가 낮을수록 기준 대본에 가깝지만, 2.6%를 곧바로 ‘모든 발화의 97.4%를 정확히 이해했다’는 의미로 바꿀 수는 없다. 시험 음성, 언어 구성, 전처리와 후처리 방식이 달라지면 결과도 달라진다.

8월 27일 PacketNebula가 확인한 비교판 에서는 Gemini 3.5 Transcribe가 2.6%로 5위였다. Fun-Realtime-ASR-preview가 1.7%, ElevenLabs Scribe v2가 2.2%, Microsoft MAI-Transcribe-1.5와 Smallest AI Pulse Pro가 각각 2.4%로 앞섰다.

제목의 ‘반전’은 Google의 2.6%가 잘못됐다는 뜻이 아니다. 2.6%는 Artificial Analysis가 측정한 비스트리밍 평균값이고, 5위는 같은 비교판에서 더 낮은 값을 기록한 모델이 네 개 있었다는 상대적 결과다. 순위는 8월 27일의 스냅샷이므로 이후 모델이나 측정값이 추가되면 달라질 수 있다.

Artificial Analysis와 FLEURS는 다른 질문을 측정했다

Google의 발표에는 성격이 다른 두 종류의 결과가 함께 들어 있다. Artificial Analysis의 수치는 여러 음성 인식 모델을 자체 오디오 구성과 공통 방법으로 비교한 결과다. 반면 FLEURS는 여러 언어와 로케일을 포함한 공개 데이터셋으로 다국어 인식 성능을 살핀다.

• Artificial Analysis: 비스트리밍 WER 2.6%, 스트리밍 WER 4.0%다. 2.6%가 8월 27일 비스트리밍 비교에서 5위에 해당했다.
• FLEURS 상위 로케일: 비스트리밍 WER 5.04%, 스트리밍 WER 5.50%다. Google이 Chirp 3와 경쟁 모델을 비교한 다국어 시험으로, Artificial Analysis 순위와 같은 평가가 아니다.

따라서 FLEURS의 5.04%와 Artificial Analysis의 2.6%가 다르다는 사실 자체는 모순이 아니다. 시험 데이터와 평가 범위가 다르기 때문이다. 한쪽 수치를 다른 쪽 순위에 대입하거나 네 숫자를 하나의 정확도 표처럼 섞으면 모델의 실제 위치를 잘못 읽게 된다.

스트리밍과 비스트리밍의 차이도 크다. 녹음이 끝난 뒤 전체 문맥을 처리하는 모델은 뒤에 나온 단어를 참고해 앞부분을 수정할 수 있지만, 실시간 모델은 소리가 들어오는 동안 결과를 계속 내보내야 한다. 실시간 자막 서비스에 비스트리밍 2.6%를 그대로 기대해서는 안 되는 이유다.

한국어 혼용 발화에는 별도 검증이 남는다

Gemini 3.5 Transcribe는 녹음 파일용 gemini-3.5-transcribe와 실시간용 gemini-3.5-transcribe-live로 나뉜다. 85개가 넘는 언어를 자동 감지하고 문장 안팎의 언어 전환을 처리하므로, 한국어 사이에 영어 제품명과 약어가 섞이는 회의에도 적용할 수 있다.

다만 지원 언어 수는 언어별 품질이 같다는 보장이 아니다. 공개된 평균 WER은 한국어만 분리한 결과가 아니며, 한국어와 영어가 섞인 발화, 여러 화자의 겹침, 국내 고유명사가 많은 회의에 대한 별도 수치도 공개되지 않았다. 한국어 지원 여부와 특정 한국어 업무에서의 정확도는 구분해야 한다.

Gemini API 전사 문서 에 따르면 사용자 지정 어휘는 전문 용어·약어·고유명사를 최대 1,000개까지 전달할 수 있고, 일반적으로 100개 이하에서 가장 나은 결과가 권장된다. 녹음형 모델은 최대 8명의 화자를 구분하지만 3명 이상에 대한 화자 배정은 실험적이며, 단어 단위 타임스탬프를 사용하면 전체 전사 정확도가 낮아질 수 있다.

이 기능들은 평균 WER에 잡히지 않는 오류를 만든다. 회의록에서는 단어가 맞더라도 화자가 잘못 배정되면 책임 주체가 바뀌고, 타임스탬프가 어긋나면 원음을 찾아 검수하기 어려워진다. 한국어 회의 전사에서는 단어 오류율과 함께 고유명사, 화자 배정, 시간 위치를 별도 항목으로 봐야 한다.

Smart transcription은 정리 기능이자 기록상의 위험이다

Smart transcription은 들린 말을 그대로 옮기는 데서 멈추지 않는다. 머뭇거림과 반복, 말하다가 취소한 표현을 제거하고 문단·목록·날짜·통화 표기를 읽기 좋은 형태로 정리한다. 공유용 회의록이나 받아쓰기 초안에서는 후편집 시간을 줄일 수 있다.

그러나 축어 기록에서는 같은 정리가 정보 손실이 된다. 인터뷰 대상자가 처음 꺼낸 표현을 곧바로 바꾼 과정, 답변 전의 망설임, 반복된 강조가 분석 대상이라면 매끄러운 문장이 오히려 원래 발화를 가린다. 법률·의료·연구 기록처럼 실제 발화가 중요한 문서는 문장 품질보다 원음과의 일치가 우선이다.

기본값인 verbatim 모드는 군더더기, 반복, 중간 수정을 보존하며 화자 분리와 단어 타임스탬프를 설정할 수 있다. Smart transcription은 읽기 편한 결과를 만들지만 이 두 기능과 함께 사용할 수 없다. 자동 정리와 정밀한 발화 추적은 현재 같은 출력에서 동시에 얻는 기능이 아니다.

가령 “배포는 화요일, 아니 수요일입니다”라는 발화는 공유용 회의록에서 “배포는 수요일입니다”로 정리하는 편이 유용할 수 있다. 반면 사고 조사 인터뷰에서는 처음 화요일이라고 말했다가 정정했다는 과정 자체가 증거가 된다. 같은 변환이 문서 목적에 따라 개선이 되기도 하고 훼손이 되기도 한다.

속도와 가격은 정확도 순위와 별개의 지표다

Google이 제시한 70% 개선은 이전 모델 Chirp 3와 비교한 최종 전사 확정 시간에 관한 수치다. WER이 70% 줄었다거나 모든 중간 자막이 70% 빨라졌다는 뜻은 아니다. 실시간 서비스에서는 첫 결과와 확정 결과의 지연을, 녹음 전사에서는 전체 파일 처리 시간을 따로 봐야 한다.

유료 표준 요금의 분당 환산치는 녹음형이 오디오 입력 약 0.003달러와 텍스트 출력 약 0.002달러를 합쳐 약 0.005달러다. 실시간형은 입력 약 0.005달러와 출력 약 0.004달러를 합쳐 약 0.009달러다. 저장, 재시도, 화자 검수와 고유명사 수정에 드는 운영비는 이 API 처리비에 포함되지 않는다.

현재 확인된 결론은 제한적이지만 분명하다. Gemini 3.5 Transcribe의 비스트리밍 WER 2.6%와 당시 5위라는 결과는 동시에 성립하며, FLEURS 수치는 별도의 다국어 시험을 나타낸다. 한국어 단독 WER와 혼용 발화·겹침 발화의 세부 성능은 공개 자료만으로 확정할 수 없어, 전체 1위라는 단순한 평가보다 조건별 추가 측정값이 더 필요하다.