Whisper Nederlands en Vlaams: spreekstijl vergroot foutmarge

De betrouwbaarheid van Whisper voor Nederlandse en Vlaamse opnamen hangt sterk af van het soort spraak. De evaluatie van de Universiteit Twente vindt aanzienlijk meer woordfouten bij gesprekken dan bij omroepnieuws of voorgelezen spraak. Wie gesprekken wil transcriberen, heeft daarom een testset nodig met vergelijkbare sprekers en opnamen.

Een enkel nauwkeurigheidspercentage verbergt die verschillen. Zelfs binnen dezelfde modelversie lopen de gepubliceerde uitkomsten uiteen voor nieuws, telefoongesprekken, ouderen en mensen die Nederlands als tweede taal spreken. Ook de opnamekwaliteit en de verwerking van stilte kunnen meespelen; het verschil tussen twee testsets is dus niet uitsluitend aan spreekstijl toe te schrijven.

Wat de woordfoutmarge meet

WER, of woordfoutmarge, telt vervangen, weggelaten en ten onrechte toegevoegde woorden ten opzichte van een handmatig gemaakt referentietranscript. De som van die fouten wordt gedeeld door het aantal woorden in de referentie. Een lagere WER betekent minder woordfouten volgens deze telmethode, maar zegt nog niet welke fouten voor het gebruik van het transcript het zwaarst wegen.

Een verkeerde persoonsnaam kan bijvoorbeeld veel hinderlijker zijn dan een gemist stopwoord, terwijl beide in de telling als woordfout gelden. Ook de schrijfregels beïnvloeden de uitslag: getallen, hoofdletters en leestekens moeten in referentie en modeluitvoer op dezelfde manier worden behandeld. De onderzoekers normaliseerden zulke verschillen voordat zij de transcripties vergeleken.

Omroepnieuws tegenover telefoongesprekken

De gepubliceerde N-Best-meettabel geeft voor Whisper large-v3 met spraakdetectie, of VAD, 12,3% WER op Nederlands omroepnieuws en 36,9% op Vlaamse telefoongesprekken. De volledige vergelijking binnen diezelfde configuratie is:

Nederlands uit Nederland: omroepnieuws 12,3% WER; telefoongesprekken 25,1% WER.
Vlaams: omroepnieuws 14,6% WER; telefoongesprekken 36,9% WER.

Gesprekken leveren in beide taalvarianten duidelijk meer woordfouten op. N-Best vergelijkt echter ook verschillende opnamekanalen: omroepaudio en telefoonaudio hebben niet dezelfde akoestische omstandigheden. De cijfers tonen de foutmarge voor die combinaties van spraak en opname, niet het afzonderlijke effect van spontaan spreken. Voor een eigen test is dat onderscheid nuttig: een nette nieuwsopname lijkt weinig op een telefoongesprek, zelfs wanneer beide Nederlandstalig zijn.

Ouderen en niet-moedertaalsprekers

In dezelfde publicatie is Whisper large-v3 met VAD ook gemeten op JASMIN-CGN. Die verzameling maakt het mogelijk om voorgelezen spraak en gesprekken te vergelijken binnen groepen oudere moedertaalsprekers en volwassen niet-moedertaalsprekers:

Nederlandse niet-moedertaalsprekers: voorgelezen 49,4%; gesprekken 58,2% WER.
Nederlandse oudere sprekers: voorgelezen 25,2%; gesprekken 33,6% WER.
Vlaamse niet-moedertaalsprekers: voorgelezen 50,7%; gesprekken 57,9% WER.
Vlaamse oudere sprekers: voorgelezen 33,6%; gesprekken 44,6% WER.

Bij elk van deze groepen ligt de gemeten foutmarge voor gesprekken hoger. De verschillen tussen groepen zijn eveneens groot: een score voor oudere moedertaalsprekers kan niet dienen als schatting voor volwassenen die Nederlands als tweede taal spreken. Het blijven gemiddelden over de onderzochte opnamen, geen voorspellingen voor iedere individuele spreker. Vooral bij een interviewcollectie met uiteenlopende stemmen is een uitsplitsing naar sprekersgroep informatiever dan één gemiddelde voor alle bestanden.

Waarom Common Voice veel lager uitvalt

Een Nederlandse benchmark met een controlemeting rapporteert 4,3% WER voor faster-whisper large-v3 op 10.485 geselecteerde Common Voice-fragmenten. De selectie verwijdert fragmenten waarvan de bestandsnamen overlappen met trainings- of ontwikkeldata van het daar onderzochte model Vlotspraak. Daarmee is geen afwezigheid van overlap met de trainingsdata van Whisper aangetoond.

Common Voice bestaat uit korte opnamen waarin deelnemers opgegeven zinnen uitspreken. De benchmark op de volledige Common Voice-testset onderscheidt bovendien faster-whisper v3 zonder VAD, met 4,3% WER, van dezelfde versie met VAD, met 4,4%. Die waarden horen bij andere audio en een andere meetpijplijn dan de N-Best- en JASMIN-CGN-cijfers. Ze vormen daarom geen rechtstreeks bewijs dat Whisper in Vlaamse gesprekken bijna alle woorden goed herkent.

Vaktaal vraagt om dezelfde precisie bij de keuze van audio. De medische meettabel in de CLARIN-publicatie bevat voor Whisper large-v2 zonder VAD 10,9% WER op medische video’s en 57,1% op een testset met gesprekken tussen patiënten en zorgverleners. Naast het onderwerp veranderen daar ook de spreekvorm en opnameomstandigheden. Een score op helder uitgesproken medische uitleg beschrijft dus een andere taak dan het transcriberen van een zorggesprek.

Modelversie en taalinstelling horen bij de uitslag

Een meetresultaat voor ‘Whisper’ is pas goed te plaatsen als de modelversie en VAD-instelling bekend zijn. VAD detecteert welke delen van een opname spraak bevatten en beïnvloedt daarmee wat het herkenningsmodel aangeboden krijgt. In de gepubliceerde vergelijkingen presteerde large-v2 met VAD in veel Nederlandse categorieën beter dan large-v3 met VAD. Een nieuwere versienaam garandeert voor de eigen audio dus geen lagere foutmarge.

Een aparte taalinstelling voor Vlaams biedt evenmin een garantie. De officiële Whisper-tokenizer koppelt zowel ‘dutch’ als de alias ‘flemish’ aan de taalcode ‘nl’. Dat verklaart hoe de taalnaam wordt verwerkt, maar geeft geen nauwkeurigheidscijfer voor Vlaamse accenten of gesprekken.

Een testset kiezen voor de eigen audio

Een kleine validatie met eigen opnamen beantwoordt de praktische vraag beter dan een algemeen percentage. Neem fragmenten uit de beoogde toepassing en zorg dat de relevante variatie erin voorkomt: rustige en spontane passages, de gebruikelijke opnamekanalen, sprekersgroepen en eventuele vaktermen. Maak voor die fragmenten een zorgvuldig referentietranscript en spreek vooraf af hoe namen, getallen, onderbrekingen en onverstaanbare woorden worden weergegeven.

Leg de exacte Whisper-versie, uitvoeringssoftware, taalinstelling en VAD-instelling vast.
Laat het model de geselecteerde audio transcriberen zonder het referentietranscript als invoer te gebruiken.
Normaliseer referentie en uitvoer op dezelfde manier en tel vervangingen, weglatingen en toevoegingen.
Bereken de WER afzonderlijk voor opnamevormen en sprekersgroepen die in de toepassing belangrijk zijn.

Bekijk daarnaast welke fouten de bruikbaarheid raken: een verkeerd herkende naam, vakterm of passage voor een citaat kan meer herstelwerk vragen dan de totale WER doet vermoeden. De meting blijft alleen vergelijkbaar met een latere proef als ook de selectie van audio, transcriptieregels en modelinstellingen gelijk blijven.