Whisper eller Deepgram för svenska: språkdata och WER

Välj lokal Whisper om inspelningarna behöver stanna i egen miljö och ni kan sköta drift och efterbearbetning. Välj Deepgrams API om strömmande svensk transkribering och tillgänglig talarmärkning passar behoven bättre. Avgör sedan vilket alternativ som fungerar med era egna inspelningar: ett WER-resultat från ett annat språk eller användningsområde visar inte hur era namn, dialekter och samtal transkriberas.

Deepgrams beskrivning av Nova-3 anger att den svenska modellen kan användas för både förinspelat ljud och strömning, med sv som språkkod. Det gör API:t relevant för färdiga mötesinspelningar och löpande textning. Med lokal Whisper styr organisationen själv var ljudet behandlas, men måste också ordna kedjan som tar emot ljud, kör modellen och levererar ett användbart transkript.

Svenska mätningar och engelska benchmark svarar på olika frågor

KBLabs studie av svenska Whisper-modeller redovisar i genomsnitt 47 procent lägre WER för forskarnas bästa finjusterade modell än för OpenAI:s whisper-large-v3 på utvärderingar med FLEURS, Common Voice och NST. Forskarna använde svenskt talmaterial från bland annat tv, dialektinspelningar och riksdagen vid träningen. Resultatet visar hur språkdata och modellvariant kan påverka svensk ordigenkänning; studien jämför inte Whisper med Deepgram.

AIMultiples benchmark placerar Deepgram Nova-v3 bland de starkare systemen enligt WER och teckenfelsmåttet CER på det testade medicinska materialet. Materialet består av korta vårdklipp med engelskt tal och en anatomiföreläsning där läkaren talar engelska under den första delen. Den rangordningen kan därför inte användas som rangordning för svenska möten, intervjuer eller kundsamtal.

WER räknar utbytta, bortfallna och tillagda ord i förhållande till en rättad referenstext. Måttet gör en jämförelse konsekvent, men ger ett felaktigt personnamn samma vikt som ett felaktigt småord. Svenska sammansättningar gör dessutom uppdelningen i ord betydelsefull för resultatet. Redovisa WER på eget ljud tillsammans med fel på namn, facktermer och sammansättningar, uppdelat efter de ljudtyper verksamheten faktiskt använder.

Realtid och talare måste bedömas var för sig

Vid textning under ett pågående samtal behövs mer än ett korrekt sluttranskript. Mät tiden från tal till preliminär text, hur ofta den texten ändras och när ett segment blir slutligt. Whisper kan ingå i en lokal lösning som behandlar ljudbitar löpande, men svarstiden beror då på hela kedjan: inspelning, uppdelning, beräkning och överföring. Jämför den färdiga lokala lösningen med API-flödet under samma ljudförhållanden.

Talarmärkning är ett separat kvalitetsmått. I ett möte kan orden vara rätt medan replikerna tilldelas fel person, särskilt vid korta instämmanden och överlappande tal. Den lokala Whisper-lösningen behöver kompletteras om slutresultatet ska innehålla talaretiketter. Bedöm därför både hur många repliker som får rätt talare och vad som händer när personer avbryter varandra; ett lågt WER-tal besvarar ingen av de frågorna.

EU-behandling beror på inställningarna för varje anrop

Lokal drift kan hålla ljud och transkript inom organisationens infrastruktur, förutsatt att även lagring, loggar och anslutna tjänster finns där de ska. För Deepgram anger dokumentationen om databehandling att EU-slutpunkten api.eu.deepgram.com hanterar och lagrar data inom EU, men att fullständig behandling inom regionen också kräver mip_opt_out=true. Utan det valet deltar förfrågningar som standard i programmet för modellförbättring, där sparat material kan behandlas utanför regionen.

Regionvalet är ett villkor för lösningens databehandling, inte ett mått på hur rätt transkriptet blir. Dokumentera vilken slutpunkt som används och att inställningen för modellförbättring följer med anropen. Ta också med de egna system som får ljud eller text efter transkriberingen. Ett krav på behandling i ett visst land behöver bedömas särskilt, eftersom en EU-region inte pekar ut ett bestämt land.

Räkna kostnaden för ett användbart transkript

Deepgrams prislista anger ett aktuellt kampanjpris på 0,0048 dollar per minut för enspråkig Nova-3-strömning med löpande betalning och 0,0020 dollar per minut som tillägg för strömmande talarmärkning. Det motsvarar ungefär 0,29 dollar per ljudtimme utan tillägget och 0,41 dollar med det. För förinspelat ljud har tjänsten en annan minutavgift och talarmärkning ingår; blanda därför inte ihop priset för inspelade filer med priset för ett direktsänt flöde.

Lokal Whisper har ingen motsvarande API-avgift per minut, men maskinvara eller hyrd beräkningskapacitet kostar även när kapacitet står ledig. Lägg till lagring, övervakning, uppdateringar, eventuell talarseparering och mänsklig rättning. Beräkna dels kostnad per inspelad ljudtimme, dels kostnad per transkript som når er kvalitetsgräns. Den senare siffran fångar följden av ett billigt första utkast som kräver omfattande korrigering.

Ett svenskt prov som går att upprepa

Utgå från ljud som ni har rätt att behandla och som speglar den verkliga fördelningen mellan exempelvis möten, telefonljud och intervjuer. Märk klippen med ljudmiljö, dialekt, antal talare och överlappning. Låt människor göra en rättad referenstranskription och bestäm i förväg hur tvekljud, siffror, avbrutna ord och sammansättningar ska skrivas. Samma regler måste gälla när båda motorernas resultat räknas.

Kör samma ljud genom de konfigurationer som faktiskt kan användas: en namngiven Whisper-modell på angiven maskinvara och en namngiven Deepgram-modell med vald språkkod och valda funktioner. Spara inställningarna inför ett senare omprov.
Beräkna WER för hela materialet och för varje ljudkategori. Redovisa dessutom namn, sammansättningar och viktiga termer separat, så att många lätta klipp inte döljer återkommande fel i verksamhetens viktigaste ljud.
För direktsändning, mät svarstid och ändringar i preliminär text. För samtal med flera personer, bedöm talarmärkning och överlappande tal mot den mänskliga referensen. Håll dessa resultat åtskilda från WER.
Summera kostnaden för samma ljudmängd och samma färdiga funktioner. Ta med tillägg, lokal drift och efterkorrigering, och kontrollera samtidigt att databehandlingen uppfyller organisationens krav.

Valet kan då göras på det material som lösningen ska klara: svenska ord som betyder något för verksamheten, rätt talare, acceptabel svarstid och en kostnad för det färdiga resultatet.

Läs också: