Whisper v3 o Turbo sa Filipino: 0.26 punto ang kapalit ng bilis

Para sa Filipino transcription, piliin ang Whisper large-v3-turbo kung bilis at mas magaan na hardware ang pangunahing kailangan; piliin ang large-v3 kung mas mahalaga ang pinakamababang nasukat na error. Sa Filipino FLEURS benchmark ng Handy, 11.82% ang word-error rate (WER) ng large-v3 at 12.08% ang sa Turbo—agwat na 0.26 percentage point—habang 2.0× at 3.1× realtime ang kani-kanilang bilis sa AMD Ryzen 4750U GPU na gumagamit ng Vulkan.

Maliit ang agwat sa test na iyon, kaya makatuwirang panimulang pili ang Turbo para sa maraming file o workflow na sensitibo sa oras. Kung kailangang isalin sa Ingles ang Filipino speech, piliin ang large-v3: may hiwalay na limitasyon ang Turbo sa translation. Para sa Taglish, iba’t ibang punto, o maingay na recording, mas mahalaga ang resulta sa sariling audio kaysa sa isang pangkalahatang benchmark.

Gaano kalaki ang agwat sa Filipino transcription?

Ang WER ay bilang ng mga salitang napalitan, nawala o nadagdag, na hinahati sa bilang ng salita sa reference transcript. Ang agwat ng dalawang modelong ito ay pagkakaiba ng porsiyento ng error sa isang test set, hindi bilang ng salitang tiyak na magkakamali sa bawat recording. Maaari ring magkapareho ang kabuuang WER ng dalawang output ngunit magkaiba ang halaga ng kanilang mga pagkakamali: mas mabigat sa ilang trabaho ang maling pangalan, halaga o terminong teknikal kaysa sa maling karaniwang salita.

Magkapareho ang FLEURS test split at Q8_0 na format sa inilathalang paghahambing, kaya may saysay ang paghahanay ng kanilang mga score. Nakatali naman ang bilis sa ginamit na engine at hardware; ang “× realtime” ay sukat ng bilis ng pagproseso ng audio, hindi pangako kung gaano kabilis lalabas ang bawat linya sa isang live na sistema. Kasama sa aktuwal na pagkaantala ang pagdating at paghahati ng audio, pagpila ng trabaho at pagbuo ng output.

Bakit mas mabilis at mas magaan ang Turbo?

Sa model card ng Whisper large-v3-turbo, mula 32 ay ginawang 4 ang decoding layers; nakatala rin ang 1.55 bilyong parameter para sa large-v3 at 809 milyon para sa Turbo. Ang decoder ang bumubuo ng text mula sa naprosesong audio. Ang mas maikling decoder ang pangunahing dahilan ng pagbilis, na may bahagyang kapalit sa kalidad ng transcription.

Magkaiba ang laki ng model file, dami ng parameter at memoryang kailangan habang tumatakbo. Hindi sapat ang isa sa mga sukat na ito para hulaan ang oras ng isang buong batch: nakaaapekto rin ang haba at uri ng audio, paraan ng pag-decode at kasabay na trabaho sa makina. Sa mahabang pila ng mga recording, ang mahalagang ihambing ay kabuuang oras ng pagproseso at oras ng pagwawasto, dahil maaaring mabawasan ang pakinabang ng mas mabilis na modelo kung marami sa mahahalagang salita ang kailangang itama.

Sa talaan ng OpenAI sa Whisper, humigit-kumulang 10 GB ang VRAM requirement ng large at 6 GB ang sa Turbo; ang tinatayang 8× na bilis ng Turbo laban sa large ay sinukat sa English speech sa A100. Iba ang wikang sinusukat at hardware sa Filipino test ng Handy, kaya hindi maaaring gawing multiplier para sa Filipino workload ang pagtatayang iyon. Kung kapos ang GPU memory, may malinaw na bentahe ang Turbo sa pagpapatakbo, ngunit kailangang kasya pa rin ang aktuwal na workload sa natitirang memorya.

Kung salin sa Ingles ang kailangan

May mahalagang pagkakaiba ang transcription at speech translation. Sa transcription, Filipino ang audio at Filipino rin ang inaasahang teksto; sa translation, Ingles ang inaasahang output. Nililinaw ng OpenAI na hindi sinanay ang Turbo para sa translation task at maaari nitong ibalik ang orihinal na wika kahit piliin ang translate setting. Para sa Filipino-to-English speech translation, ang large-v3 ang mas angkop na pili sa dalawang modelong ito.

Hindi rin sukatan ng kalidad ng salin ang Filipino WER. Sinusukat ng WER ang pagtutugma ng transcript sa mga salitang nasa Filipino reference, samantalang ang salin ay kailangang magpanatili ng kahulugan sa Ingles. Kung parehong Filipino transcript at English translation ang kailangan sa isang workflow, magkahiwalay na output at pamantayan ng pagsusuri ang kailangan para sa dalawang gawain.

Taglish at ang paraan ng pagbibilang ng error

Hindi awtomatikong nailalarawan ng FLEURS score ang recording na palipat-lipat sa Filipino at English. Sa FilSwitch corpus ng Filipino-English speech, may 3,555 manually validated utterances mula sa 152 speaker, at 13.62% ang WER ng pretrained Whisper large-v3 sa hiwalay nitong test. Walang katapat na Turbo score sa inilathalang talahanayan, kaya hindi nito sinasabi kung alin sa dalawang modelo ang mas mahusay sa corpus na iyon.

Mahalaga rin kung paano inihahanda ang reference transcript bago bilangin ang mga error. Ang Filipino ASR evaluation ng FlipVox ay gumagamit ng normalization na isinulat para sa Filipino at code-switched text dahil madaling makuwenta nang mali ang WER. Maaaring magmukhang magkaibang salita sa awtomatikong paghahambing ang numerong binigkas ngunit isinulat bilang digit, o ang terminong Ingles na may ibang baybay. Kailangang pareho ang tuntuning inilalapat sa reference at sa output ng bawat modelo.

Hindi dapat burahin ng normalization ang pagkakaibang mahalaga sa gagamiting transcript. Kung kritikal ang eksaktong pangalan, code o halagang binigkas, siyasatin ang mga error na iyon nang hiwalay sa kabuuang WER. Para sa Taglish corpus, kapaki-pakinabang ding tingnan ang mga salitang malapit sa paglipat ng wika: maaaring katanggap-tanggap ang average na score habang paulit-ulit na nagkakamali ang modelo sa mga terminong kailangan ng trabaho.

Alin ang piliin sa bawat workflow?

• Batch transcription na inuuna ang accuracy: Simulan sa large-v3 kung may sapat na compute at mas mahal ang pagwawasto ng mahahalagang salita kaysa sa dagdag na oras ng pagproseso.
• Malaking batch na may takdang oras: Simulan sa Turbo kung ang haba ng pila ang pangunahing hadlang. Isama sa paghahambing ang oras na ginugugol sa pag-edit ng output.
• Workflow na halos live: Unahin ang Turbo bilang kandidatong susubukan dahil mas mabilis ang pag-decode nito. Sukatin ang pagkaantala ng buong sistema, hindi lamang ang bilis ng modelo sa isang nakahandang audio file.
• Filipino speech na isasalin sa Ingles: Piliin ang large-v3. Hiwalay na suriin ang kalidad ng English translation at ang accuracy ng Filipino transcript.
• Limitadong GPU memory: Unahin ang Turbo kung hindi praktikal patakbuhin ang large-v3. Kung parehong kasya, ibatay ang pili sa bilis at error sa mismong mga recording na ipoproseso.

Para maging patas ang lokal na paghahambing, gamitin ang iisang hanay ng audio, reference transcript, normalization rules, hardware at decoding settings. Isama ang iba’t ibang punto, ingay at Taglish na talagang naroroon sa trabaho, saka itala ang WER, kabuuang oras at mga error sa kritikal na termino. Sa ganoong sukat malalaman kung ang maliit na kalamangan ng large-v3 sa FLEURS ay may halaga sa iyong mga recording, o kung mas sulit ang bilis at mas magaan na compute ng Turbo.

Basahin din:

• Dropbox o Google Drive: bilis ng sync o built-in collaboration ang sulit
• Grammarly o LanguageTool: accuracy o mas murang team plan ang uunahin?
• Google Workspace o Microsoft 365: AI bundle o desktop apps ang sulit