Буки или Whisper: различен тест може да го смени победникот

За македонски говор, Буки-Whisper е силен кандидат за точност, но објавените проценти не избираат модел за секоја снимка. Во споредбата на УКИМ, Буки-Whisper постигнал WER од 8,1%, а тестираниот јавно достапен Whisper 24,5% на аудио што опфаќало читан текст и дијалекти. Првата верзија на Буки била претставена како наменета за литературен македонски, со обработка на дијалекти како понатамошна цел. Верзијата на споредуваниот јавен Whisper и тест-хардверот не се прецизирани во објавата, па резултатот не го предвидува исходот за секое интервју.

Ако транскрибирате предавања, интервјуа или архиви, споредете Буки-Whisper 2.0 со Whisper large-v3 на вашиот вид говор, а turbo додајте го кога времето е важно. Картичката на Буки-Whisper 2.0 го опишува како приспособен Whisper large-v3, трениран со околу 115 часа македонски говор, и пријавува вкупен WER од 11,76% на здружени тест-множества. Картичката не наведува споредлива брзина на конкретен хардвер. Пријавениот WER се однесува на оваа верзија и не е повторување на мерењето од универзитетското претставување.

Што навистина мерат објавените резултати

WER е стапка на грешки во зборовите. Според објаснувањето на Hugging Face, се бројат заменетите, испуштените и додадените зборови во однос на бројот зборови во точниот препис. Помал WER значи помалку такви отстапувања на конкретниот тест, но резултатот зависи и од тоа како се обработени интерпункцијата, големите букви и говорните повторувања. Без исти правила за споредување, иста снимка може да добие различна оценка.

Во македонската табела на Handy, Whisper large-v3 има WER од 15,09%, а large-v3-turbo 17,85% на тест-делот од FLEURS со квантизација Q8_0. За извршување преку Vulkan на графичкиот дел од AMD Ryzen 4750U, табелата наведува брзина од 2,0 и 3,1 пати реално време, соодветно. Овие две WER-вредности се споредливи во рамките на поставката на Handy; вредностите за Буки се добиени на други тест-множества и не прикажуваат директен натпревар со тие верзии.

Читан литературен текст, разговор со преклопување на говорниците и теренско сведоштво имаат различен речник и различен квалитет на звук. Затоа редоследот меѓу модели може да се промени кога се менува материјалот за тестирање. Објавените бројки ја оправдуваат проверката на Буки, но не кажуваат кој ќе остави помалку исправки во вашата архива. За таков заклучок, потребни се исти аудиоисечоци, ист човечки препис и исти правила за броење.

Избор според видот на снимката

За литературен говор Буки-Whisper 2.0 е логичен прв кандидат поради приспособувањето за македонски. Кај дијалект и архивски звук, корисноста треба да се утврди на самата граѓа. Матрицата ги подредува кандидатите според задачата, без да им припишува неизмерена предност:

• Јасно предавање или читан текст: споредете Буки-Whisper 2.0 со Whisper large-v3. Покрај вкупните грешки, проверете стручни термини, кратенки и имиња на луѓе; тие можат да ја одредат рачната работа за конечен препис.
• Интервју со регионален говор: користете исечоци со различни говорници, спонтани поправки и локални зборови. Одделно забележете кога моделот го менува дијалектниот облик во литературен, бидејќи тоа може да биде грешка за истражувачки препис.
• Архивски теренски запис: вклучете шумни и тивки делови, како и имиња на населени места. За пребарлива архива пропуштен топоним може да биде поважен од неколку погрешни чести зборови.
• Многу часови со краток рок: додајте Whisper large-v3-turbo и измерете го времето на истиот компјутер. Побрзата обработка може да има поголема вредност ако преписите сепак бараат човечко уредување.

Локално извршување и цена во време

И Буки-Whisper 2.0 и моделите Whisper може да се извршуваат локално. Буки-Whisper 2.0 има постапка преку SpeechBrain и Transformers, додека упатството на OpenAI опишува инсталација на Whisper и транскрипција од командна линија. Локалното извршување е битно кога снимките треба да останат во установата, но потребни се соодветни зависности, простор за моделот и доволно работна меморија. За чувствителни интервјуа, проверете ја целата постапка на обработка, вклучувајќи го и местото каде што се зачувува добиениот текст.

Брзината измерена на одреден процесор не се пренесува автоматски на друг уред или софтверска поставка. На сопствениот компјутер запишете го времето од пуштањето на датотеката до готовиот препис, заедно со должината на снимката и тоа дали се користи централен или графички процесор. Ако еден модел штеди време при обработката, но бара повеќе рачни исправки, споредете го вкупното време до употреблив текст.

Десет снимки за фер споредба

За сопствен избор е доволен мал, намерно разновиден примерок како прва проверка. Предлогот е десет кратки исечоци: три со јасен литературен говор, три со разговорен или дијалектен говор, два со преклопување во интервју и два од послаби архивски записи. Тоа е работен пример, не објавен бенчмарк. Ако вашата работа е ограничена на предавања, заменете ги останатите категории со различни предавачи, микрофони и простории.

1. Направете точен човечки препис за секој исечок. Однапред одлучете како ќе ги бележите повторувањата, недовршените зборови и дијалектните облици. Истиот препис и истото правило употребете ги за секој модел.
2. Извршете ги избраните верзии на идентични аудиодатотеки. Зачувајте ги имињата на моделите, поставките и уредот; потоа измерете го времето до добиен препис за секој исечок.
3. Пресметајте WER по исечок и по вид говор. Одделно избројте грешки во лични имиња, топоними и стручни термини, а интерпункцијата и големите букви оценете ги посебно од зборовите.

Изборот треба да ја следи граѓата што најчесто ја обработувате. Ако еден модел има понизок WER, но редовно ги губи важните имиња, можеби ќе бара повеќе работа отколку конкурентот. Кога резултатот е близок, одлучуваат времето на обработка, можноста за локална работа и колку лесно можете да го повторите истиот процес врз целата збирка.

Прочитајте и:

• Docker или Podman во rootless режим: мрежата може да го смени победникот
• Zoom или Google Meet: слабата врска може да го смени победникот
• LiteLLM под 1.83.9: обичен корисник може да го преземе целиот gateway