DeepL vai Google Translate: BLEU neizšķirts Baltijas etalonā

Latviešu tekstiem nav pierādīts viens pārliecinoši labāks tulkotājs. Tartu Universitātes pētnieku FLORES-devtest salīdzinājumā tulkojumiem no latviešu uz igauņu valodu DeepL un Google Translate publicētais BLEU rezultāts ir vienāds — 23,6. COMET vērtējums ir attiecīgi 91,05 un 90,46, tādēļ pēc šī rādītāja DeepL ir neliels pārsvars.

Ja jāizvēlas rīks latviešu tekstam, atbilde ir atkarīga no tulkošanas virziena un darba vajadzībām. Vienāds BLEU šajā pārī nenozīmē vienādus tulkojumus vai vienādu kvalitāti citos pāros. DeepL piedāvā latviešu valodai glosāriju, savukārt Google Translate dokumentu tulkošanai ir konkrēti formāta un ierīces ierobežojumi. Neviens no šiem apsvērumiem neaizstāj cilvēka pārbaudi tekstam, kura precizitāte ir svarīga.

Ko rāda dažādi tulkošanas virzieni

Pētījuma centrā ir tulkošana no igauņu valodas un uz to. Autori vērtēja pašu veidotās un citas sistēmas, salīdzinājumam iekļaujot arī DeepL un Google Translate. FLORES-devtest izmanto daudzvalodu teikumus, kas balstīti Vikipēdijas saturā. Tas ļauj abus pakalpojumus vērtēt vienā testā, taču nedod tiešu atbildi par katru teksta žanru.

Turpmāk katrā rindā pirmais skaitlis ir DeepL, otrais — Google Translate rezultāts. Bultiņa rāda virzienu no avotvalodas uz tulkojuma valodu:

Latviešu → igauņu: BLEU 23,6 / 23,6; COMET 91,05 / 90,46.
Lietuviešu → igauņu: BLEU 22,1 / 21,5; COMET 90,23 / 89,68.
Angļu → igauņu: BLEU 30,2 / 30,7; COMET 92,54 / 91,77.
Igauņu → angļu: BLEU 39,9 / 41,7; COMET 89,54 / 89,75.

Atšķirības mainās līdz ar virzienu un izvēlēto mēru. Lietuviešu–igauņu pārī DeepL ir augstāks rezultāts abās metrikās. Angļu–igauņu pārī Google Translate ir augstāks BLEU, bet DeepL — COMET; pretējā, igauņu–angļu virzienā Google Translate ir augstāks abos rādītājos. Tādēļ viena pakalpojuma nosaukšana par uzvarētāju visiem Baltijas valodu tekstiem noslēptu būtisku informāciju.

Salīdzinājumā nav atsevišķas rindas tulkojumam no igauņu uz latviešu valodu. Tulkošanas virziena maiņa maina gan avottekstu, gan valodu, kurā jāveido pareizs teikums, tāpēc latviešu–igauņu rezultātu nevar apgriezt otrādi. Pētījumā izmantotie nozares tekstu testi savukārt aptver citus valodu pārus; tie nedod atsevišķu nozares kvalitātes mērījumu latviešu–igauņu pārim.

Kāpēc BLEU neizšķirts un COMET pārsvars var pastāvēt reizē

BLEU salīdzina mašīnas tulkojuma vārdu virknes ar paraugtulkojumu. Šajā pētījumā aprēķinam izmantota sacreBLEU ieviešana ar vienu paraugtulkojumu. Rādītājs ir noderīgs sistēmu salīdzināšanai vienādos testa apstākļos, taču pieļaujama pārfrāzēšana var saņemt zemāku vērtējumu, ja tās vārdi atšķiras no parauga. Publicētā vienādība ir noapaļots BLEU vērtējums, nevis apgalvojums, ka abi pakalpojumi izveidoja tos pašus teikumus.

COMET izmanto apmācītu vērtēšanas modeli, kurš ņem vērā avottekstu, tulkojumu un paraugtulkojumu. COMET metodes apraksts skaidro tās saikni ar cilvēku kvalitātes vērtējumiem. Tādēļ atšķirība starp abu metriku rezultātiem nav pretruna: tās tulkojuma kvalitāti raksturo citādi.

Latviešu–igauņu pārī COMET skaitlis nosveras par labu DeepL, bet tas nepasaka, kurš pakalpojums precīzāk iztulkos konkrētu teikumu. Arī augstāks BLEU citā rindā nav automātiski salīdzināms ar šī pāra BLEU: mainās avotvaloda, mērķvaloda un attiecīgie paraugtulkojumi. Šie rezultāti raksturo pētījumā pārbaudītos pakalpojumus un teikumu kopu, nevis garantē nemainīgu pakalpojumu sniegumu.

Ko latviešu valodas atbalsts pasaka par funkcijām

DeepL valodu sarakstā ir latviešu, lietuviešu un igauņu valoda. DeepL vienlaikus norāda, ka glosārijs, formalitātes pakāpes izvēle un alternatīvi formulējumi nav pieejami visām tulkošanā atbalstītajām valodām. Tas ir būtisks nošķīrums: iespēja ievadīt latviešu tekstu vēl neapliecina katras papildu funkcijas pieejamību.

Glosārijam ir konkrētāks apstiprinājums: DeepL glosārija aprakstā atbalstīto valodu vidū ir gan latviešu, gan igauņu valoda. Glosārijā var norādīt vēlamo vārdu un īsu frāžu tulkojumu; pakalpojums arī pielāgo ierakstus mērķvalodas gramatikai. Tas var palīdzēt uzturēt vienotu terminoloģiju atkārtotos tekstos, lai gan atsevišķu terminu kontrole pati par sevi negarantē pareizu visa teikuma jēgu.

Glosārija lietojums atšķiras arī pēc konta: DeepL aprakstā norādīts, ka bezmaksas lietotāja ieraksti glabājas lokāli pārlūkā, bet attiecīgo maksas plānu lietotājiem tie ir piesaistīti kontam. Cilvēkam, kurš tulko dažādās ierīcēs vai strādā ar kolēģiem, šī atšķirība var būt praktiski nozīmīgāka par nelielu automātiskā vērtējuma starpību.

Kad izvēli nosaka dokuments, nevis etalona punkts

Google Translate datorā ļauj tulkot dokumentus un tīmekļa vietnes, bet ievades veids nosaka, ko pakalpojums var apstrādāt. Google norādījumi dokumentu tulkošanai nosauc .docx, .pdf, .pptx un .xlsx formātus, faila robežu līdz 10 MB un PDF robežu līdz 300 lapām. Dokumentu tulkošana nav pieejama mobilajās ierīcēs vai mazos ekrānos, un skenētu PDF lapu attēlos esošais teksts netiek iztulkots.

Šie ierobežojumi ir jāšķir no valodas kvalitātes mērījuma. Ja teksts ir skenēts PDF, problēma rodas vēl pirms tulkojuma kvalitātes salīdzināšanas: dokumenta tulkošanas funkcija attēlā redzamos vārdus neatveido citā valodā. Savukārt rediģējamam dokumentam, kurā atkārtojas noteikti termini, glosārija pieejamība var ietekmēt darba rezultātu vairāk nekā nelielā COMET atšķirība vispārīgas tematikas teikumu kopā.

Īsam tekstam no latviešu uz igauņu valodu publicētais BLEU neizšķirts nedod pamatu automātiski atmest kādu no abiem pakalpojumiem. Ja tekstu paredzēts publicēt vai izmantot juridiskā, medicīniskā vai citā precizitātei svarīgā kontekstā, cilvēkam jāpārbauda īpašvārdi, skaitļi, noliegums, termini un teikuma jēga. Etalons palīdz saprast pakalpojumu atšķirības pārbaudītajos apstākļos; gala tekstā kļūdu nozīmi nosaka pats saturs.

Lasiet arī: