BuzzASR või Whisper: märgivea määr langes 4,4 korda

BuzzASR-i Eesti mudelikaardi järgi oli FLEURSi ja Common Voice’i ühendatud testis BuzzASR/estonian märgivea määr 1,4% ning nullnäitega Whisper-large-v3-l 6,19% ehk umbes 4,4 korda suurem; BuzzASR-i sõnavea määr oli 5,55%. Eraldi FLEURSi testis olid märgivea määrad 3,27% ja 3,41%, Common Voice’is aga 0,22% ja 7,46%.

Peamiselt eestikeelse heli puhul on BuzzASR seega mõistlik esimene kandidaat, kuid ühendatud testi suur eelis ei jaotunud kahe andmestiku vahel ühtlaselt. Mitmekeelse salvestise või erialase vestluse jaoks annab kindlama vastuse samadel kohalikel helilõikudel tehtud võrdlus, kus hinnatakse ka olulisi nimesid, arve ja töötluse nõudeid.

Miks koondtulemus sõltub testmaterjalist

FLEURSis jäid mudelite tulemused lähestikku, Common Voice’is oli vahe palju suurem. Seetõttu ei tähenda ühendatud testi suhtarv, et iga eestikeelne salvestis annaks sama suure võidu. Mõlemad on avalikud kõneandmestikud; telefonikõne, koosoleku või erialase vestluse kõnelejad ja salvestusolud võivad neist erineda.

BuzzASR-i uurimus kirjeldab 102 keelele kohandatud Whisperi mudelit: hindamisel kasutati FLEURSi ja Common Voice’i testjaotusi ning BuzzASR-i ja nullnäitega Whisperit dekodeeriti samade reeglitega. Mudelite kohandamisel kasutati nende andmestike treeningjaotusi. Uurijad märgivad, et osa üldisest edust võib tuleneda treening- ja testmaterjali sarnasusest ning teiste valdkondade ja murrete kohta on vaja eraldi mõõtmisi. Eesti koondtulemust tasub võtta selle konkreetse võrdluse tulemusena.

Mis muutus Whisperist BuzzASR-iks

BuzzASR/estonian põhineb Whisper-large-v3-l. Eesti variandi loomisel kohandati mudelit eestikeelsete kõne- ja tekstinäidetega ning asendati mitmekeelne teksti tükeldaja keelepõhisega. Muutus puudutab seega nii kõne järgi õppimist kui ka seda, kuidas mudel väljundteksti osadeks jagab. Tulemuse omistamine üksnes uuele sõnastikule või ühele seadistusnupule oleks liiga lihtne seletus.

Keelepõhine kohandamine annab põhjuse proovida BuzzASR-i seal, kus salvestise põhikeel on eesti keel. Samal ajal võib tugev tulemus tuttaval andmestikul nõrgeneda uue mikrofoni, kõnelejarühma või valdkonna juures. Avaldatud võrdlus annab lähtepunkti mudeli valimiseks, kuid kohalik heli näitab, kui hästi eelis kavandatud kasutuses säilib.

Mida näitavad CER ja WER

Märgivea määr ehk CER arvestab võrdlusteksti suhtes asendatud, lisatud ja välja jäetud märke. Sõnavea määr ehk WER teeb sama sõnade tasandil. Hugging Face’i mõõdikute selgitus näitab, miks väike kirjaviga võib CER-is tähendada väheseid eksimusi, kuid WER-is minna kirja terve vale sõnana. Eesti käändelõpu eksimus on hea näide erinevusest, mida need mõõdikud võivad eri tugevusega peegeldada.

Võrdlus eeldab ka ühist tekstireeglit. Suur- ja väiketähed, kirjavahemärgid, tühikud ning arvude kirjutusviis tuleb enne hindamist mõlema mudeli väljundis ja inimese koostatud võrdlustekstis ühtmoodi käsitleda. Muidu võib punktisumma muutuda vormistuse, mitte kuuldud sõnade tõttu. Väike koondviga ei ütle siiski, kas valesti läks tavaline sõnalõpp või inimese nimi: kasutuse seisukohalt tähtsad eksimused vajavad eraldi arvestust.

Millal on üldine Whisper parem kandidaat

Whisper-large-v3 mudelikaart kirjeldab mitmekeelset kõnetuvastust ja kõne tõlkimist inglise keelde. BuzzASR/estonian on mõeldud eesti keelele. Kui ühes salvestises vahelduvad keeled või töö nõuab tõlget, on Whisperi laiemad ülesanded valiku juures olulised. Eestikeelse avaliku testi tulemusest ei saa järeldada, kumb lahendus kirjutab keelevahetusega salvestise täpsemalt üles.

Ka eestikeelse heli korral võib kasutus sõltuda kiirusest, olemasolevast tarkvarast ja sellest, kus heli töödeldakse. Täpsustabel ei mõõda kogu rakenduse viivitust ega salvestiste käitlemist. Kui tekst peab valmima kindla aja jooksul, tasub võrrelda sama pikkusega heli töötlust samal riistvaral ning märkida üles mudeliversioon ja dekodeerimisseaded. Nii on täpsuse ja töötlusaja suhe konkreetse kasutuse jaoks hinnatav.

Perearstivestluses muutub tähtsaks vea koht

Eesti perearsti assistendi katse hõlmas 98 vastuvõtusalvestist: TalTechNLP Est-ASR-i töövoo keskmine WER oli 0,12 ja eestikeelseks peenhäälestatud Whisperi oma 0,31. Need on teise testmaterjali ja teiste süsteemide tulemused; BuzzASR-i selles katses ei hinnatud. Arvud näitavad, miks üldkõne põhjal koostatud järjestus ei asenda erialase salvestise mõõtmist.

Katse käsitsi läbivaatusel ilmnes eksimusi muu hulgas raviminimedes, diagnoosides ja sümptomitega seotud väljendites. Sellise vea tagajärg võib olla olulisem kui sama suur eksimus tavalises lauseosas, kuigi mõlemad mõjutavad üldmõõdikut. Meditsiinilise heli puhul peab hindamine seetõttu hõlmama kliiniliselt tähtsaid sõnu ja fakte. Patsiendivestluste kasutamisel tuleb ühtlasi läbi mõelda, kes salvestistele ligi pääseb ja kus neid töödeldakse.

Kuidas võrrelda mudeleid oma eestikeelse heliga

Valikuks sobib sõltumatu testkomplekt heli liigist, mida tööriist hakkab tegelikult töötlema. Inimese kontrollitud võrdlustekst tuleb hoida mudeli kohandamiseks kasutatud materjalist lahus. Valimisse peaksid jõudma asjakohased kõnelejad, salvestusseadmed ja müratasemed; murded või teise emakeelega kõnelejad vajavad omaette tulemusi, kui nad kuuluvad tulevase kasutuse juurde.

Koonda samadesse helilõikudesse nii tavalist kõnet kui ka kasutuse jaoks olulisi Eesti isiku- ja kohanimesid, arve, kuupäevi, lühendeid ning erialatermineid. Märgi iga lõigu juurde salvestusolud, et hiljem oleks näha, millistes tingimustes vead tekkisid.
Käivita BuzzASR/estonian ja Whisper-large-v3 täpselt samal testmaterjalil. Pane kirja mudeliversioonid, heli ettevalmistus, lõikamise viis ja dekodeerimisseaded; muidu ei pruugi korduskatse ega mudelite võrdlus olla võrreldav.
Arvuta CER ja WER ühise normaliseerimisreegli järgi. Esita koondnäitajate kõrval eraldi mürase heli ning vajalike kõnelejarühmade tulemused ja loenda oluliste nimede, arvude ning tähendust muutvate väljendite eksimused.
Mõõda töötlusaeg samas keskkonnas ning kontrolli, kas sobivam mudel mahub kavandatud heli säilitamise ja ligipääsu korraldusse. Otsus saab tugineda korraga teksti täpsusele, kriitiliste vigade hulgale ja töövoo sobivusele.

Loe ka: