Разпознаване на българска реч: 22,5% грешки променят избора

За записани български разговори ElevenLabs Scribe v2 е най-силният единичен модел в публикуваното сравнение на Николай Костов: върху 21 записа с пълни референтни транскрипции той достига 22,5% WER, Speechmatics enhanced — 25,2%, OpenAI gpt-transcribe — 28,3%, а собствената комбинация на автора от Scribe и Speechmatics — 22,2%. При телефонните разговори gpt-transcribe има лек превес над Scribe v2, но при шумното телефонно видео изостава осезаемо; телевизионната реч дава много по-ниска грешка.

За интервю с няколко гласа Scribe v2 е най-обоснованата отправна точка сред тестваните отделни услуги. За ясно прочетен текст, локална обработка или реч, която пристига на живо, решението може да е друго. Числото от един разговорен корпус описва конкретна задача, а не универсална точност за всеки български запис.

Как видът запис променя резултата

WER е броят на заменените, пропуснатите и добавените думи, разделен на броя думи в референтната транскрипция. Следователно процентът не означава, че същият дял от речта е неразбираем за човек. Две системи могат да имат близък WER, но едната да изпуска кратки реплики, а другата да изписва междуметия, които редакторът е пропуснал в референтния текст.

В разговорния тест сравнението е направено след премахване на пунктуацията, уеднаквяване на главните и малките букви и изчисляване на общата грешка според броя думи в записите. Корпусът включва телефонни обаждания, гласови бележки, телефонно видео и телевизионна реч. Видеофайловете с частична референтна транскрипция остават във файловите резултати, но не в общата оценка. Това прави общото число полезно за ориентация, като същевременно запазва значението на отделните категории.

Телефонният разговор е теснолентов, но често има отчетливи гласове; записът с телефон навън добавя вятър, трафик и застъпване на репликите. При телевизионната реч студийният звук и подредените изказвания намаляват трудността. Затова предимството на една услуга при телефонно обаждане не обещава същото при видео от улицата. За дословно интервю пропусната реплика може да струва повече редакторска работа от дребна правописна разлика.

Защо FLEURS дава друг отговор за локален модел

Българската класация на Handy измерва моделите върху тестовата част на FLEURS във формат Q8_0: canary-1b-v2 е с 9,22% WER, а whisper-large-v3 — с 12,82%. Страницата посочва и скорост върху хардуера, използван от Handy, което е полезно за избор на локален модел. Тези числа не са пряк двубой със Scribe v2: моделите, корпусът и условията на изпълнение не съвпадат с разговорния тест.

Описанието на FLEURS определя набора като ориентиран към прочетена реч и отбелязва, че резултатът при четене може да се различава от работата в шумна среда. Отделно произнесено изречение дава по-ясни граници между думите от разговор, в който участниците се прекъсват. Затова ниският WER на Canary във FLEURS е силен аргумент за този вид материал, но сам по себе си не прогнозира поведението му при български телефонни интервюта.

Локалното изпълнение има и отделна стойност: записът може да остане на собствената машина, а обработката не зависи от качване към външен API. Срещу това стоят нуждата от подходящ хардуер, инсталиране и управление на модела. Ако ограничението за данните е водещо, Canary е разумен кандидат за ясна реч; за него няма пряко съпоставим резултат със Scribe v2 върху шумните разговори от другия корпус.

Говорители и термини: точността на думите не стига

Описанието на ElevenLabs за Scribe v2 включва етикети за говорители, времеви маркери по думи и подсказване на специфични термини; българският е сред поддържаните езици. За редактиране на интервю това събира в една услуга текста, местата в аудиото и предполагаемата смяна на гласовете. Имена на хора, фирми и професионални понятия могат да се подадат като подсказки, когато действително се очакват в записа.

Етикетът за говорител остава автоматично предположение, особено при едновременно говорене. Разговорният корпус показва, че модел с добър общ WER пак може да слее отделни гласове; при публикуване на цитат тази грешка е по-съществена от сгрешена пунктуация. Подсказките също не са гаранция: ако моделът започне да вмъква очаквано име без то да е произнесено, текстът става по-гладък, но по-малко верен на аудиото.

Готов файл и реч на живо изискват различен режим

Ръководството на OpenAI за транскрипция препоръчва gpt-transcribe като отправен модел за готов запис, а gpt-live-transcribe — за звук, който пристига в момента на говорене. То посочва, че gpt-transcribe може да обработва и завършени реплики през Realtime, както и че връщането на текст на части от вече качен файл е различно от обработката на текущ разговор. Изборът тук е свързан с потока на аудиото, не само с крайния WER.

OpenAI позволява контекст и подсказки за очаквани термини и езици. Ако транскрипцията трябва да посочва говорителите, наличието на текстов модел само по себе си не осигурява такава функция: специализираният модел за диаризация е отделен и е обявен за извеждане от употреба. Това има значение за нова интеграция, защото смяната само на името на модела може да промени формата и съдържанието на резултата.

Кой избор пасва на конкретния български запис

За завършени интервюта и смесени разговорни записи предимството на Scribe v2 в публикувания корпус, заедно с етикетите за говорители и подсказките за термини, го прави най-силната първа проба. Speechmatics enhanced остава алтернатива, особено когато и двата резултата ще се сравняват от редактор. Комбинирането на две услуги може да открои спорните места, но изисква допълнителен работен поток и не дава съществена печалба в общата грешка на посочения тест.

За ясно прочетена реч, която трябва да остане на собствен компютър, класацията на Handy насочва към Canary. За вече изграден процес с OpenAI gpt-transcribe е смислен кандидат, но разговорният тест не му дава общото предимство. Най-показателното сравнение за реален избор остава между транскрипции на едни и същи ваши файлове: кратък телефонен разговор, интервю с прекъсвания и най-шумният тип запис, който действително получавате. Там ще проличат пропуснатите реплики, имената и смяната на говорителите, които средният WER събира в едно число.

Прочетете също:

• DeepL или Google Translate за български: покритието не доказва точност
• Playwright или Cypress: паралелизмът може да оскъпи лесното отстраняване на грешки
• ElevenLabs или Murf: клонираният глас променя цената