DeepL või Google Translate eesti keeles: mõõdikud ei anna üht võitjat

DeepL-il ega Google Translate’il pole eesti keelde tõlkimisel kõigi lähtekeelte ja mõõdikute peale üht võitjat: Tartu Ülikooli teadlaste 2024. aasta FLORES-devtesti võrdluses sai inglise-eesti suunal Google Translate BLEU-s 30,7 ja DeepL 30,2, COMETis aga DeepL 92,54 ja Google Translate 91,77.

Parem lähtevariant sõltub keelest, millest tõlgid, ja sellest, millist kvaliteedi külge hindad. Oma töö jaoks loevad ka terminite käsitlemine, vajalikud lisafunktsioonid ning sisestatud teksti kasutamise tingimused. Uuringu järjestus aitab valikut kitsendada, kuid ei asenda oma tekstidega tehtud võrdlust.

Mida eestikeskne võrdlus mõõtis

Uuringus tõlgiti FLORES-devtesti lauseid mitmest lähtekeelest eesti keelde ning võrreldi DeepL-i ja Google Translate’i teiste masintõlkesüsteemidega. FLORES lähtub Vikipeedia sisust; see annab eri keelte jaoks ühise võrdlusaluse, kuid ei esinda automaatselt ettevõtte dokumente, vestlussõnumeid ega erialatekste. Samas töös on ka eesti keelest teistesse keeltesse tõlkimise tabelid, mille järjestust ei saa üle kanda eestikeelse väljundi valikule.

BLEU arvutab, kui palju masintõlke sõnastus kattub etteantud võrdlustõlkega. COMET kasutab õpitud hindamismudelit, milles arvestatakse ka lähteteksti ja võrdlustõlget. Mõlemal juhul on suurem tulemus selle mõõdiku järgi parem, kuid kumbki skoor ei kirjelda üksi näiteks seda, kas tõlge kasutab ettevõtte kinnitatud terminit või muudab eituse tähendust. Sama mõtet saab eesti keeles väljendada mitut moodi: erinev sõnastus mõjutab kattuvusel põhinevat tulemust ka siis, kui sisu jääb lugejale arusaadavaks.

Tulemused lähtekeelte kaupa

BLEU järgi jagunevad lähtekeeled eri rühmadesse; COMETi järgi oli DeepL uuringu kõigis eesti keelde suunatud võrdlustes Google Translate’ist ees. See ei tähenda, et iga DeepL-i lause oleks täpsem: tabelites on koondtulemused kindla testmaterjali kohta, mitte iga lause inimhinnang.

• Inglise, saksa, prantsuse ja hiina keelest: BLEU eelistas Google Translate’i, COMET DeepL-i. Inglise keele kõrval ilmnes sama järjestuse vahetus seega ka teistes lähtekeeltes.
• Araabia, hispaania, soome, leedu, rootsi ja ukraina keelest: mõlemad mõõdikud eelistasid DeepL-i. Nendel suundadel mõõdiku vahetamine järjestust ümber ei pööranud.
• Läti ja vene keelest: BLEU andis teenustele võrdse tulemuse, COMET eelistas DeepL-i. Võrdne BLEU ei tähenda, et väljundid oleksid sõna-sõnalt samad.

Need rühmad annavad lähtekoha, kui tõlgitava teksti keel on teada. Ametliku kirja, juhendi ja argivestluse tõlget ei saa siiski ühe Vikipeedia-põhise testi järgi samasse pingeritta panna. Veebiteenused võivad ajas muutuda, samal ajal kui avaldatud skoorid kirjeldavad uuringus mõõdetud väljundeid. Seetõttu on eriti väikese või võrdse skoorivahe puhul kasulikum uurida, milliseid vigu teenused sinu tekstiliigis teevad.

Keeletugi ja lisafunktsioonid

DeepL-i toetatud keelte loend sisaldab eesti keelt ning täpsustab, et sõnastik, ametliku või vabama tooni valik ja tõlkealternatiivid ei tööta kõigi loetletud keeltega. Eesti keele olemasolu tõlkekeelte seas ei taga seega iga lisafunktsiooni tuge soovitud keelesuunas. Terminitega töötamisel on oluline eristada valitavat sihtkeelt võimalusest tõlke sõnavara ette määrata.

Google’i Cloud Translationi keeletoetuse loend sisaldab eesti ja inglise keele suunda ka AutoML Translationi kohandatavate mudelite hulgas. See võimalus kuulub arendajale mõeldud Cloud Translation - Advancedi juurde ega tähenda, et Google Translate’i tavalises veebivaates saaks kasutaja oma mudelit treenida. Uuringu Google Translate’i skoorid ei mõõda spetsiaalselt ettevõtte andmetel kohandatud pilvemudelit.

Töövoo valikul tekib kolm eri küsimust: kas soovitud keelesuund on saadaval, kas vajalik funktsioon töötab selle paari puhul ning kas väljund sobib konkreetse teksti jaoks. Keeleloend vastab esimesele küsimusele. Kvaliteeditabel annab üldkeelse näite viimase kohta, kuid ei ütle, milliseid võimalusi kasutaja valitud teenusepakett pakub.

Kuidas privaatsustingimused valikut mõjutavad

DeepL-i privaatsustingimuste järgi kasutatakse tasuta Translatorisse sisestatud sisu piiratud aja jooksul tõlkesüsteemide treenimiseks ja parandamiseks; Pro-teenuses hoitakse tõlgitavat teksti ajutiselt teenuse osutamiseks ega kasutata seda teenuse kvaliteedi parandamiseks. Tasuta Translatorit ei tohi kasutada isikuandmeid sisaldava teksti tõlkimiseks. See piirang on oluline, kui töö sisaldab kliendiandmeid või muud tundlikku sisu.

Google Translate’i tõlkeajaloo juhend kirjeldab, et sisse logitud kasutaja tõlked salvestatakse pilves olevasse ajalukku ning ajalugu saab hallata ja kustutada. Kontol nähtava ajaloo haldamine ja sisestatud teksti muu töötlemine on eri küsimused. Konfidentsiaalse materjali puhul tuleb hinnata just kasutatava veebiteenuse või lepingulise toote tingimusi; ühe kaubamärgi eri teenustel võivad olla erinevad kohustused.

Lühike pimekatse oma tekstidega

Kui tõlgid regulaarselt sama liiki materjali, annab väike pimekatse asjakohasema vastuse kui üldine edetabel. Vali mõlemale teenusele täpselt samad lähtelõigud oma tavapärasest keelest ja žanrist. Lisa hulka terminid, pärisnimed, eitused ja pikad laused, sest ladus pealispind võib varjata sisulist viga. Terviklik lõik aitab märgata ka seda, kas tõlge hoiab viited ja mõtteseosed lausete vahel selged.

1. Tõlgi lõigud mõlema teenusega eesti keelde, säilita sama lähtetekst ja märgi väljundid neutraalselt, teenuse nime näitamata.
2. Lase eesti keelt hästi valdaval hindajal hinnata loomulikkust üksnes sihtteksti põhjal; täpsuse jaoks anna talle ka lähtetekst.
3. Pane eraldi kirja tähendusvead, väärad terminid ja kohmakas sõnastus. Kui sama viga kordub mitmes lõigus, on see valiku seisukohalt olulisem kui üks eriti ladus lause.
4. Ava teenuste nimed pärast hindamist. Kui eelistus muutub koos lähtekeele või tekstiliigiga, kasuta nende jaoks eri tööriista.

Avaldamiseks või kliendile saatmiseks mõeldud tõlkes on sisuvigade laad olulisem kui mõõdiku väike punktivahe. Automaatne tõlge võib anda esimese versiooni; olulise tähendusega teksti lõplikku sõnastust tasub kontrollida inimesel, kes mõistab ka lähteteksti.