Parakeet vagy Whisper: magyar hangon 7,35 pont a hibaaránykülönbség

A magyar Common Voice-teszten a Parakeet TDT 0.6B v3 szóhibaaránya 10,45%, a Whisper large-v3-é 17,80% volt, vagyis a különbség 7,35 százalékpont; karakterhibaarányuk 1,99%, illetve 4,14%, feldolgozási sebességük pedig 43,8-szoros, illetve 22,9-szeres valós idő volt RTX 3090-en. Magyar hang átírásához így a Parakeet az erősebb kiindulópont, ha a mért pontosság és az ugyanott mért sebesség dönt.

A választás azonban a kész munkafolyamaton is múlik. Felirathoz fontos, hogyan készülnek a szószintű időbélyegek; hosszú felvételnél számít a hang darabolása és a rendelkezésre álló memória; meglévő Whisper-rendszernél pedig az átállítás munkája is. Ezeket a szempontokat külön kell mérlegelni a rövid magyar minták eredménye mellett.

Mit jelent a magyar hibaarány?

A szóhibaarány, vagyis a WER a hibásan felismert, kihagyott és betoldott szavakat viszonyítja a referencia szavaihoz. A karakterhibaarány, a CER ugyanezt karakterenként vizsgálja. Magyarul a két mutató együtt beszédes: egy rosszul felismert toldalék a WER-ben egész szóhibának számíthat, miközben a szó többi karaktere helyes. Mindkét mutatónál az alacsonyabb érték kedvezőbb.

Az összevetett modellek ugyanazt a rögzített, kétezer rövid megszólalásból álló tesztkészletet és ugyanazt a szövegnormalizálást kapták. A közölt WER és CER a megszólalásonkénti hibaarányok átlaga: egy rövid mondat így nem pusztán a szavainak számával arányosan vesz részt az összesítésben. Ez az olvasott beszéden kapott eredmény jó alap a két konkrét modell összevetéséhez, de egy zajos interjú vagy sok szakterületi név másfajta hibákat hozhat elő.

Az invergent-ai FLEURS-mérése 250 magyar megszólaláson 11,86%-os, teljes korpuszon összesített WER-t közöl a Whisper large-v3-ra, és a táblázat Whisper-sorait MIT-licencűként jelöli. A Common Voice-teszt és ez a mérés eltérő hangmintákat és összesítési módszert használ; a hibaarányokat ezért nem lehet úgy összeolvasni, mintha egyetlen közös rangsor sorai lennének. Az eltérő tesztek arra is emlékeztetnek, hogy a saját felvételhez legközelebb álló beszédminta többet mondhat a várható javítási munkáról, mint egy önmagában idézett WER.

Mit ér a sebességelőny helyi futtatásnál?

A közölt sebességszorzó azt fejezi ki, mennyi hangot dolgozott fel a modell egységnyi dekódolási idő alatt. A mérés nem számolta bele a modell betöltését és a hangfájl beolvasását. Sok rövid fájl feldolgozásakor ezek aránya érezhető lehet, ezért a szorzó nem azonos a fájl kiválasztásától a kész átiratig eltelt idővel.

A teszt konfigurációja sem egy általános laptopígéret. A futtató, a számábrázolás és az egyszerre feldolgozott minták száma befolyásolja a memóriaigényt és az áteresztőképességet. Kötegelt feldolgozásnál a mért dekódolási előny értékes lehet; egyetlen hosszú interjúnál a darabolás, az összeillesztés és az időbélyegek előállítása is része a teljes időnek. Korlátozott memóriájú gépen a használható beállítás fontosabb kérdés, mint a másik hardveren mért csúcssebesség.

Parakeet: magyar nyelv és natív időbélyeg

Az NVIDIA NGC-leírása a magyart a Parakeet TDT 0.6B v3 által támogatott 25 európai nyelv közé sorolja, natív írásjelezést és szószintű időbélyegeket ír le, egy menetben legfeljebb 24 perces hangszakaszokat említ, a modell feltételeinél pedig CC BY 4.0 licencet tüntet fel. A szavakhoz kapcsolt időpontok felirat készítésekor közvetlenül használhatók az igazításhoz. A jó időzítés ugyanakkor nem végleges felirat: a mondatok tördelése és az átirat ellenőrzése továbbra is szerkesztői feladat.

Az NGC-gyűjtemény a beszédfelismerő modell mellett beszédaktivitás-felismerést és beszélők elkülönítésére szolgáló komponenst is felsorol. Ezeket nem szabad a Parakeet alapmodell önálló képességeként kezelni: több beszélő azonosításához a teljes feldolgozási lánc számít. Ez különösen interjúnál lényeges, ahol a pontos szófelismerés önmagában még nem mondja meg, ki beszélt.

Whisper: szélesebb nyelvi lefedettség, darabolt hosszú hang

Az OpenAI Whisper large-v3 modellkártyája 99 nyelvet és az ott közzétett modellhez Apache 2.0 licencet jelöl; a hosszú hang feldolgozását 30 másodperces bemeneti ablakokra építi, és szószintű időbélyegek lekérését is bemutatja. Ez a licencjelölés eltér a másik mérési tár Whisper-táblázatában szereplőtől, ezért a ténylegesen letöltött modellkiadás feltételei az irányadók. A magyar mellett sok más nyelvet kezelő rendszerben a szélesebb lefedettség önálló választási érv lehet.

Hosszú hanghoz a modellkártya szekvenciális és átfedő darabokra bontott eljárást ismertet. A szekvenciális változat sorban halad a hangon; a darabolt változat külön dolgozza fel a részeket, majd összeilleszti az átiratot. A választott eljárás a futási időre és a szakaszhatárok kezelésére is hat. Feliratozásnál a Whisperrel is kérhetők szószintű időpontok, ezért a gyakorlati különbség az alkalmazott futtatóban és az eredmény ellenőrzésében keresendő.

Hosszú felvételek és telepítési feltételek

A Parakeet modellkártyája NeMo-, Transformers- és NeMo-Speech.cpp-futtatási lehetőséget mutat be, a helyi figyelmi módnál pedig akár háromórás hang feldolgozását írja le. Ez a hosszú hangra vonatkozó lehetőség külön konfigurációhoz kötődik; nem ugyanaz a munkaterhelés, mint a rövid magyar tesztmondatok átírása. A futtató kiválasztása azt is meghatározza, milyen formában érhetők el az átirat és az időbélyegek.

A Parakeet és a Whisper egyaránt futtatható helyben, de a modellfájl letöltése csak a telepítés egyik része. A hang előkészítése, a szükséges könyvtárak, a memória és a kívánt kimeneti formátum együtt határozza meg, hogy egy adott gépen melyik megoldás használható kényelmesen. A hosszú felvételhez megadott modellképességet ezért a tényleges futtatási móddal együtt érdemes értelmezni; a rövid klipekből számolt sebességszorzó önmagában nem írja le egy teljes műsor vagy interjú elkészülési idejét.

Döntési mátrix magyar hanghoz

• Pontosság: az azonos magyar teszten összevetett, általános modellek közül a Parakeet az első választás. Magyarra finomhangolt Whisper-változatot külön modellként kell értékelni.
• Sebesség: a vizsgált grafikus kártyán a Parakeet előnye a dekódolásban is megjelent; más gépen a teljes feldolgozási idő dönt.
• Felirat: a Parakeet natív szószintű időbélyege egyszerűbb kiindulás lehet, míg a Whispernél a választott futtató megfelelő időbélyeg-kimenetét kell használni.
• Nyelvek és licenc: elsősorban magyar hanghoz a Parakeet lefedettsége elegendő; soknyelvű rendszerhez a Whisper szélesebb nyelvlistája lehet fontos. Mindkét esetben a használt modellkiadás licencét kell figyelembe venni.
• Hosszú hang és hardver: a Parakeet hosszúhang-módja és a Whisper ablakokra épülő feldolgozása eltérő beállításokat kíván. A rendelkezésre álló memória és a már működő feldolgozási lánc befolyásolhatja a választást.

Ha a cél elsősorban magyar beszéd helyi átírása, a Parakeet mellett szól a közvetlen összevetés és a natív időzítés. A Whisper akkor lehet jobb rendszerbeli döntés, ha több nyelvet kell kiszolgálni, vagy a meglévő átírási lánc megtartása nagyobb előny, mint a magyar teszten mért különbség.

Olvassa el ezt is:

• Fireflies vagy Otter: tiszta angolnál 0,4 pont a különbség
• Wix vagy Squarespace: a nagyobb szabadság több döntést is kér
• Whisper vagy Azure Speech magyarul: a nyelv fontosabb, mint a márka