Deepgram eller Whisper: Norsk tale krever mer enn et språkvalg

Deepgram er en aktuell kandidat når norsk tale skal transkriberes mens samtalen pågår. En egen Whisper-installasjon er aktuell når kontroll over drift og tilpasning veier tyngst. Hvilken løsning som skriver mest korrekt norsk for brukerne deres, må avgjøres med de samme representative opptakene.

Skill mellom modellen og måten den leveres på. OpenAIs whisper-1-endepunkt, Whisper kjørt på egen infrastruktur og Deepgrams strømmetjeneste har ulike rammer. Et språkvalg i et API avgjør verken kvaliteten på dialekttale, forsinkelsen i en samtale eller hvordan teksten skal skrives på bokmål og nynorsk.

Norskstøtten avhenger av modell og språkmodus

I Deepgrams modelloversikt står norsk med språkkoden no oppført for de generelle modellene Nova-3 og Nova-2. Norsk står derimot ikke på listen for disse modellenes flerspråklige modus. Den egne Flux-familien for samtalestrømming har heller ikke norsk på sin publiserte språkliste. «Norskstøtte» må derfor knyttes til en bestemt modell og innstilling, ikke til Deepgram som helhet.

En låst språkkode får følger for lyd med språkbytter. Deepgrams språkveiledning sier at tjenesten bare forsøker å transkribere språket angitt med parameteren language; tale på andre språk i samme lyd blir ikke transkribert. Dersom norske samtaler inneholder lengre engelske innslag, må de inngå i prøven med et oppsett som faktisk støtter begge språkene. Det flerspråklige valget i modelloversikten kan ikke uten videre brukes som løsning for norsk.

Også innenfor norsk trengs en beslutning om ønsket tekst. Dialekter varierer i uttale, ordvalg og grammatikk, mens en transkripsjon kan forventes skrevet konsekvent på bokmål eller nynorsk. Avklar om dialektord skal gjengis ordrett, normaliseres eller markeres særskilt før menneskene som lager fasiten begynner arbeidet. Ellers kan to ulike, forsvarlige skrivemåter bli registrert som modellfeil.

Direkte strømming er en egen egenskap

Deepgrams Nova-3 kan brukes til løpende transkripsjon av norsk lyd. I et slikt oppsett er det relevant å måle tiden til første brukbare tekst, hvor ofte foreløpige ord endres, og når en ytring blir endelig. Ordfeilrate målt etter at hele opptaket er behandlet, sier ikke hvor stabil teksten var mens den ble vist.

OpenAIs Audio API-FAQ oppgir at whisper-1 ikke støtter strømming, og at opplasting til dette eldre endepunktet er begrenset til 25 MiB per forespørsel. FAQ-en beskriver strømmeveier for andre transkripsjonsoppsett. Begrensningen gjelder dermed whisper-1-endepunktet, ikke alle måter å bruke Whisper på og heller ikke alle OpenAIs talemodeller.

Med en egen Whisper-installasjon kan utvikleren behandle korte lydbiter fortløpende. Da blir bitlengde, overlapp, pauser og avbrutte ord deler av løsningen. En kort bit kan gi raskere svar, men også mindre sammenheng for modellen; overlapp kan bevare sammenheng, men skape gjentatt tekst som må ryddes opp. Sammenlign derfor ferdige strømmeoppsett under samme belastning, og mål både forsinkelse og kvaliteten på den teksten brukeren faktisk ser.

Egen drift betyr ulike ansvar og avtaler

Whispers kode og modellvekter kan installeres på egen infrastruktur. Det gir kontroll over hvor lyd behandles, hvilken modellversjon som brukes, og hvordan resten av transkripsjonskjeden bygges. Samtidig må virksomheten selv dimensjonere kapasitet, håndtere køer og avbrudd og vedlikeholde løsningen. Kostnaden avhenger av både lydmengde, samtidige forespørsler og kravet til svartid.

Deepgrams driftsoversikt beskriver også en dedikert installasjon på kundens skyressurser eller i kundens datasenter. Denne driftsformen tilbys Premium-kunder; kunden har ansvar for infrastruktur, sikkerhetskopier og overvåking, mens Deepgram gjør oppdateringer tilgjengelige. Egen drift er altså mulig på begge sider av sammenligningen, men tilgang, avtale og vedlikeholdsansvar er forskjellige.

Tilpasning bør knyttes til feil som betyr noe i produktet. Hvis navn på steder, produkter eller faguttrykk blir feil, lag en egen oversikt over disse ordene og prøv mekanismene som finnes i den aktuelle modellen. Mål effekten på de samme opptakene før og etter en endring. En ordliste kan hjelpe på bestemte termer uten å løse vansker med dialekt, støy eller overlappende tale.

Ordfeilrate gir et holdepunkt, men ingen norsk vinner

Den norske NB-Whisper-studien målte 10,4 prosent ordfeilrate for OpenAI Whisper Large-v3 og 6,6 prosent for den norsktrente NB-Whisper Large på Fleurs-bokmål. Det er resultater for bestemte modeller på det samme datasettet. Studien sammenlignet ikke disse modellene med Deepgram på de samme norske opptakene.

Ordfeilrate, eller WER, beregnes fra ord som er erstattet, utelatt eller lagt til, sett opp mot antallet ord i en fasit. Tallet er nyttig når kandidatene får identisk lyd og vurderes etter de samme tekstreglene. Ulik håndtering av tall, sammensatte ord og valg mellom bokmål og nynorsk kan påvirke målingen selv når innholdet er forståelig for en leser.

Forskerne beskriver dessuten at de norske testsettene omfatter ulike typer opplest tale. En måling på opplest bokmål kan derfor ikke uten videre overføres til spontane samtaler med dialekt, avbrytelser og bakgrunnsstøy. Leverandørers egne målinger må leses med samme presisjon: modell, lydutvalg og metode avgjør hva resultatet gjelder. Det åpne grunnlaget gir ingen generell ordfeilrate som avgjør valget mellom dagens Deepgram-oppsett og Whisper for norsk produksjonslyd.

En norsk prøve må ligne lyden som skal transkriberes

Bygg prøven av opptak dere har rett til å bruke, og lag en menneskekontrollert fasit. Bruk identiske lydfiler og utsnitt for kandidatene. Registrer modellversjon, språkinnstilling, lydformat og eventuell terminologiliste, slik at målingen kan gjentas når et oppsett endres. Hold opptak som brukes til å justere løsningen, atskilt fra dem som avgjør sluttresultatet.

Del prøven i grupper som kan avsløre forskjellige feil:

• Bokmål og nynorsk: angi forventet målform for hvert opptak og bruk samme skriveregler i alle fasiter.
• Dialekter: ta med talere og talemåter fra områdene tjenesten faktisk skal dekke. Bevar metadata som gjør det mulig å se resultatene hver for seg.
• Lydforhold: bruk både tydelig tale og de støykildene, mikrofonavstandene og overlappende stemmene som forekommer i bruken.
• Fagspråk: legg inn relevante egennavn, forkortelser, sammensatte ord og uttrykk der en feil kan endre meningen.
• Samtaleforløp: inkluder pauser, avbrytelser, lange ytringer og språkbytter når dette finnes i tjenesten som skal bygges.

Rapporter ordfeilrate for hver gruppe i tillegg til et samlet resultat. Les også gjennom feil med stor betydning, som et utelatt negasjonsord eller et feilskrevet personnavn. Et gjennomsnitt kan skjule at en modell gjør det godt på opplest bokmål, men svakt på dialekten eller lydmiljøet brukerne faktisk møter.

Skal tekst vises under samtalen, kjør den samme prøven i sanntid og registrer forsinkelse, endringer i foreløpige resultater og håndtering av brudd. Vurder deretter kostnad og driftsarbeid ved forventet belastning. Først når norsk kvalitet, leveringstid og kontroll er målt under relevante vilkår, gir sammenligningen et grunnlag for leverandørvalget.

Les også:

• Grammarly eller LanguageTool: norskstøtte veier tyngre enn toppscore
• DeepL eller Google Oversetter: norsk tekst har ingen enkel vinner
• Slite eller Confluence: enkel dokumentasjon møter streng tilgangsstyring