KB-Whisper eller Whisper: svenska ord felar nästan dubbelt så ofta

I Klangs jämförelse av svenskt tal fick KB-Whisper large 3,5 procents genomsnittlig ordfelsandel, mot 7,2 procent för OpenAI Whisper large-v3. Om färre fel i svenska transkript är viktigast talar resultatet för KB-Whisper large. Medelvärdet gäller Klangs testmix; det är ingen prognos för varje möte eller inspelning.

Det praktiska valet beror också på hur snabbt texten behövs och vilken utrustning som ska köra modellen. En mindre KB-Whisper kan passa när resurserna är begränsade, medan large är intressant när rättning av fel tar mycket tid. Båda modellfamiljerna kan köras lokalt, så hanteringen av känsligt ljud avgörs av hela lösningen och inte bara av modellens namn.

Jämför ordfelen inom samma testmängd

I KBLabs modellkort är ordfelsandelen för KB-Whisper large respektive Whisper large-v3 5,4 mot 7,8 procent på FLEURS, 4,1 mot 9,5 procent på Common Voice och 5,2 mot 11,3 procent på NST; KBLab anger en genomsnittlig relativ minskning på 47 procent. Det är de parvisa resultaten som visar var skillnaden finns. Försprånget är mindre på FLEURS än på de andra två testmängderna.

Ordfelsandel, WER, räknar ord som har ersatts, utelämnats eller lagts till i förhållande till en referenstext. Ett lågt värde betyder att transkriptet ligger nära just den texten. Måttet säger däremot inte om de återstående felen gäller oviktiga småord eller sådant som namn, belopp och beslut. Den skillnaden spelar stor roll när ett transkript ska användas som protokoll, sökbar arkivtext eller underlag för publicering.

Klangs medelvärde och KBLabs genomsnitt ska inte behandlas som två mätningar på identiskt ljud. Klang väger samman delmängder från Common Voice, FLEURS, ett dialektmaterial och internt uppläst tal. KBLab redovisar FLEURS, Common Voice och NST. Även när ett dataset har samma namn kan version, urval och textnormalisering påverka nivån. Därför är skillnaden mellan modellerna på samma testmängd mer användbar än att jämföra de absoluta medelvärdena mellan studierna.

Varför gör svensk anpassning skillnad?

KB-Whisper bygger på OpenAI:s Whisper men har tränats vidare på svenskt tal. KBLabs beskrivning av träningsmaterialet anger omkring 50 000 timmar och nämner bland annat undertextade tv-sändningar, riksdagsdebatter och dialektinspelningar. Det ger modellen fler svenska talmönster och ordformer att lära av. Träningsmaterialets sammansättning förklarar varför en svensk anpassning är en rimlig kandidat, medan testresultaten visar hur stor vinsten faktiskt blev på de utvalda ljudmängderna.

Försprånget gäller fler storlekar än large i KBLabs redovisning. Det gör small och medium relevanta om en större modell är för tung för den tillgängliga datorn. Det vore ändå fel att likställa en mindre modells resultat med large bara för att de delar svensk träning: mindre modeller har lägre kapacitet, och valet blir en avvägning mellan fler ordfel och mindre beräkningsarbete.

KB-Whisper har dessutom varianter för olika transkriptionsstil. Standard är den vanliga utgångspunkten, subtitle ger en mer kondenserad text och strict ligger närmare ett ordagrant återgivande. För en intervju där upprepningar behöver bevaras är transkriptionsstilen en del av valet, medan en mer sammanpressad utskrift kan passa undertextning. En WER-siffra för standardvarianten bör inte automatiskt föras över till en annan variant med ett annat sätt att återge talet.

Batchhastighet säger inte hur länge du väntar

I Klangs hastighetsöversikt når både KB-Whisper large och Whisper large-v3 39 gånger realtid på en NVIDIA A100, medan KB-Whisper medium når 66 och small 166 gånger realtid. Siffrorna gäller hur mycket ljud som kan behandlas i batchar med den angivna utrustningen. De visar att mindre KB-modeller kan öka genomströmningen när många filer väntar på transkribering.

För ett arkiv är genomströmning ofta den viktiga hastigheten: många inspelningar kan köras i omgångar utan att någon väntar på varje enskild rad. Under ett pågående möte är svarstiden viktigare. Den påverkas också av hur ljudet delas upp, hur arbetet köas och om modellen redan är laddad. En hög batchhastighet på en datacentergrafikprocessor är därför inget löfte om lika snabb återkoppling på en bärbar dator.

Den som behöver löpande text från möten får en mer relevant jämförelse genom att prova samma ljudsegment och samma körsätt på den avsedda maskinen. För inspelningar som kan behandlas efteråt går det i stället att acceptera längre väntan om det minskar behovet av manuell rättning. Här kan den större modellens lägre ordfelsandel väga tyngre än dess långsammare genomströmning.

Maskinkrav och lokal drift

OpenAI:s modellöversikt uppskattar grafikminnesbehovet till omkring 10 GB för Whisper large, 5 GB för medium och 2 GB för small och visar hur modellerna körs på egen utrustning. Det är uppskattningar för OpenAI:s modeller och körsätt, inte uppmätta krav för varje KB-Whisper-format. Batchstorlek, precision och vald körmotor kan ändra minnesbehovet.

KB-Whisper tillhandahålls bland annat i format för Transformers, whisper.cpp, ONNX och CTranslate2. De ger olika vägar att köra modellen på egen utrustning. Vid känsliga inspelningar behöver valet omfatta applikationen som tar emot ljudet, var filer och transkript lagras och vilka tjänster applikationen ansluter till. En lokalt nedladdad modell hjälper bara om också det faktiska arbetsflödet håller materialet inom den avsedda miljön.

Vilken modell passar uppgiften?

• Möten: Börja med KB-Whisper small eller medium när datorn är begränsad och väntetiden spelar stor roll. Bedöm resultatet på mötesljud med avbrott och överlappande röster, och kontrollera särskilt namn och beslut. Välj large om bättre träffsäkerhet väger tyngre än den extra beräkningen.
• Arkivljud: KB-Whisper large är ett starkt förstaval när många svenska inspelningar kan behandlas i batchar och färre ordfel minskar efterarbetet. Låt ett urval spegla arkivets talstil, inspelningskvalitet och äldre ordbruk; ett publicerat WER-värde är inte ett uppmätt resultat för just det beståndet.
• Känsligt material: Välj en lokal körning och granska hela kedjan från ljudfil till färdig text. KB-Whisper har ett dokumenterat övertag för svenska i de citerade jämförelserna. OpenAI Whisper kan ändå vara ett praktiskt val om den befintliga lokala lösningen eller behovet av andra språk väger tyngre.

För svenskt tal pekar de publicerade parvisa testerna mot KB-Whisper som utgångspunkt. Storlek och körsätt avgör sedan vad som fungerar: lägre ordfelsandel är värdefull när rättning kostar tid, medan en mindre modell kan ge ett bättre flöde när texten behövs snabbt eller maskinen är begränsad.

Läs också:

• Whisper eller Deepgram för svenska: språkdata väger tyngre än WER
• Etsy eller Shopify: en svensk order kan kosta mer än procentsatsen visar
• AI används av sex av tio svenskar – var fjärde dubbelkollar sällan