DeepL ή Google Translate στα ελληνικά: η ακρίβεια αλλάζει ανά κείμενο

Στην αξιολόγηση NoDeeLe, με μεταφράσεις της 2ας Ιουνίου 2021 από αγγλικά προς ελληνικά, οι ανθρώπινοι αξιολογητές προτίμησαν το DeepL από το Google Translate σε ιατρικό, νομικό, λογοτεχνικό και εμπορικό κείμενο. Για παρόμοιο κείμενο, αυτό κάνει το DeepL λογική πρώτη επιλογή, όχι όμως εγγύηση ακρίβειας για μια νέα μετάφραση.

Το είδος του κειμένου αλλάζει την εικόνα όταν αλλάζει και ο τρόπος μέτρησης: το BLEU ευνόησε το Google Translate στα λογοτεχνικά και εμπορικά αποσπάσματα, ενώ το METEOR το ευνόησε στο ιατρικό. Για γρήγορη κατανόηση, η διαφορά μπορεί να είναι μικρής σημασίας. Για μια θεραπευτική οδηγία ή συμβατική ρήτρα, προέχει αν διατηρούνται οι κρίσιμοι όροι και οι προϋποθέσεις, κάτι που χρειάζεται ανθρώπινο έλεγχο ανεξάρτητα από την υπηρεσία.

Τι μετρήθηκε στο ζεύγος αγγλικά–ελληνικά

Η σύγκριση βασίστηκε σε ένα αγγλικό απόσπασμα ανά είδος: μέρος κλινικής μελέτης, σύμβαση αγοράς, λογοτεχνικό κείμενο και περιγραφή πολυτελούς ταξιδιού. Τα αποσπάσματα μεταφράστηκαν από τις δύο υπηρεσίες χωρίς προεπεξεργασία και συγκρίθηκαν με επαγγελματικές ελληνικές μεταφράσεις αναφοράς. Πρόκειται επομένως για συγκεκριμένα κείμενα και για την κατεύθυνση από τα αγγλικά προς τα ελληνικά, όχι για δοκιμή κάθε πιθανού θέματος ή της αντίστροφης κατεύθυνσης.

Δύο ελληνόφωνοι επαγγελματίες μεταφραστές κατέταξαν τις μηχανικές αποδόσεις ανά πρόταση. Όπου διαφώνησαν, αποφάσισε τρίτος επαγγελματίας μεταφραστής με 15 χρόνια εμπειρίας στο γλωσσικό ζεύγος. Αυτή η διαδικασία δίνει ουσιαστικό βάρος στην ανθρώπινη προτίμηση, αλλά τα αποτελέσματα αφορούν τις εξόδους που συλλέχθηκαν τότε. Οι υπηρεσίες και τα κείμενα που τους δίνουν οι χρήστες μπορούν να διαφέρουν σήμερα.

Τι σημαίνει το αποτέλεσμα για κάθε είδος κειμένου

Η ανθρώπινη κατάταξη έδωσε προβάδισμα στο DeepL και στις τέσσερις κατηγορίες. Η δημοσιευμένη εργασία δεν καταγράφει, όμως, αναλυτικά πόσες αρνήσεις, όροι ή σημασιολογικές αποχρώσεις αποδόθηκαν λανθασμένα από κάθε υπηρεσία. Τα σημεία που ακολουθούν είναι κριτήρια ελέγχου ανά χρήση, όχι καταμετρημένα σφάλματα της δοκιμής.

• Ιατρικό: Το δείγμα ήταν από κλινική μελέτη, όπου η ορολογία και η σχέση ανάμεσα σε παρέμβαση, ασθενείς και αποτέλεσμα έχουν σημασία. Σε μια πραγματική μετάφραση ελέγχονται ιδιαίτερα οι αρνήσεις, οι μονάδες, η πιθανότητα έναντι της βεβαιότητας και το σε ποια ομάδα αναφέρεται κάθε εύρημα. Μια ομαλή ελληνική πρόταση μπορεί να αλλάζει το νόημα χωρίς να ακούγεται παράξενη.
• Νομικό: Το απόσπασμα προερχόταν από σύμβαση αγοράς. Η ουσιαστική ερώτηση είναι αν διατηρούνται οι υποχρεώσεις, οι εξαιρέσεις, οι προθεσμίες και η ταυτότητα κάθε μέρους. Για χρήση στην Ελλάδα ή την Κύπρο, η καταλληλότητα ενός όρου κρίνεται επίσης μέσα στο εφαρμοστέο νομικό πλαίσιο· μια κατά λέξη εύλογη απόδοση δεν αρκεί από μόνη της.
• Εμπορικό: Η δοκιμή χρησιμοποίησε κείμενο προβολής ταξιδιού. Εδώ πρέπει να παραμένουν πιστές η συγκεκριμένη προσφορά και οι περιορισμοί της, ακόμη κι όταν η ελληνική διατύπωση προσαρμόζεται για να διαβάζεται φυσικά. Η πιο ελκυστική φράση δεν είναι καλύτερη αν διευρύνει μια υπόσχεση του πρωτοτύπου.
• Λογοτεχνικό: Η φωνή, ο ρυθμός και η αμφισημία επιτρέπουν περισσότερες από μία εύστοχες ελληνικές λύσεις. Μια απόδοση μπορεί να απομακρύνεται λεκτικά από τη μετάφραση αναφοράς και παρ’ όλα αυτά να διατηρεί το αποτέλεσμα του πρωτοτύπου. Γι’ αυτό η κρίση μεταφραστή έχει ιδιαίτερη σημασία όταν το ζητούμενο είναι το ύφος.

Γιατί BLEU, METEOR και F1 διαφωνούν

Το BLEU μετρά την επικάλυψη ακολουθιών λέξεων με μεταφράσεις αναφοράς. Η τεκμηρίωση της Google για το BLEU εξηγεί ότι ο δείκτης λειτουργεί καλύτερα σε σύνολα κειμένων παρά σε μεμονωμένες προτάσεις και μπορεί να τιμωρήσει μια πρόταση που μεταφέρει το νόημα με άλλες λέξεις. Δεν ξεχωρίζει από μόνος του μια ακίνδυνη λεκτική αλλαγή από μια κρίσιμη αλλαγή, όπως η απώλεια μιας άρνησης.

Το METEOR αντιστοιχίζει λέξεις της απόδοσης με λέξεις της αναφοράς και συνυπολογίζει κάλυψη και σειρά. Η αρχική περιγραφή του METEOR περιλαμβάνει επίσης αντιστοιχίσεις μορφολογικών παραλλαγών και συνωνύμων. Παρά την πιο ευέλικτη αντιστοίχιση, ένας τέτοιος βαθμός παραμένει σύγκριση με απόδοση αναφοράς· δεν αποφασίζει μόνος του αν μια νομική υποχρέωση ή μια ιατρική επιφύλαξη αποδόθηκε σωστά.

Το F1 στην αξιολόγηση NoDeeLe αφορά ένα διαφορετικό ερώτημα: πόσο καλά το μοντέλο ταξινομεί την ανθρώπινη προτίμηση ανάμεσα στις δύο μηχανικές αποδόσεις. Ήταν υψηλότερο για το DeepL σε κάθε είδος κειμένου, αλλά δεν είναι ποσοστό σωστών μεταφράσεων ούτε βαθμός ασφάλειας μιας καινούργιας πρότασης. Έτσι εξηγείται η φαινομενική αντίφαση: οι ανθρώπινοι αξιολογητές και το μοντέλο ταξινόμησης ευνόησαν το DeepL παντού, ενώ οι βαθμοί ομοιότητας BLEU και METEOR άλλαξαν την κατάταξη σε ορισμένες κατηγορίες.

Πώς επηρεάζει η χρήση την επιλογή υπηρεσίας

Η λίστα γλωσσών του DeepL περιλαμβάνει τα ελληνικά και επισημαίνει ότι λειτουργίες όπως το γλωσσάρι, η επιλογή ύφους και οι εναλλακτικές αποδόσεις δεν υποστηρίζονται σε όλες τις γλώσσες. Όποιος βασίζεται σε συγκεκριμένη λειτουργία για επαναλαμβανόμενη ορολογία χρειάζεται να ελέγξει τη διαθεσιμότητά της για το δικό του ζεύγος, πέρα από τη γενική υποστήριξη των ελληνικών.

Για μια σύντομη, αμφίσημη φράση, τα συμφραζόμενα επηρεάζουν την έξοδο πριν αρχίσει η σύγκριση των υπηρεσιών. Οι οδηγίες της Μετάφρασης Google συνιστούν να τοποθετείται μια λέξη μέσα σε φράση ή πρόταση όταν έχει περισσότερες σημασίες. Για μεγαλύτερο έργο, ένα αντιπροσωπευτικό απόσπασμα με την πραγματική ορολογία του δίνει πιο χρήσιμη βάση επιλογής από μια εύκολη, απομονωμένη πρόταση.

Έλεγχος όταν ένα λάθος έχει συνέπειες

Σε ιατρικό, νομικό ή δεσμευτικό εμπορικό κείμενο, η μηχανική απόδοση είναι προσχέδιο. Η σειρά του ελέγχου έχει σημασία: πρώτα η πιστότητα στο αγγλικό πρωτότυπο και έπειτα η φυσικότητα των ελληνικών. Έτσι μια καλογραμμένη πρόταση δεν περνά απαρατήρητη ενώ αλλάζει την ουσία.

1. Συγκρίνετε πρωτότυπο και απόδοση πρόταση προς πρόταση. Σημειώστε ονόματα, αριθμούς, μονάδες, ημερομηνίες, αρνήσεις και όρους που επανέρχονται.
2. Ελέγξτε ποιος ενεργεί, ποιον αφορά η ενέργεια και υπό ποια προϋπόθεση ισχύει. Σε σύμβαση ή οδηγία, μια αλλαγή στο «μπορεί» ή στο «οφείλει» χρειάζεται ουσιαστική επανεξέταση.
3. Συμφωνήστε την ορολογία του συγκεκριμένου έργου με άνθρωπο που γνωρίζει το αντικείμενο. Αν οι δύο υπηρεσίες προτείνουν διαφορετικό κρίσιμο όρο, η συχνότερη ή πιο φυσική διατύπωση δεν αρκεί ως κριτήριο.
4. Αναθέστε την τελική έγκριση των προτάσεων που επηρεάζουν θεραπεία, δικαιώματα ή οικονομική δέσμευση σε αρμόδιο επαγγελματία. Μόνο μετά τον έλεγχο νοήματος διαβάστε το ελληνικό κείμενο ως ενιαίο σύνολο για συνοχή και ύφος.

Διαβάστε επίσης:

• DeepL ή Google Translate στα ελληνικά: το ύφος αλλάζει τον νικητή
• Μεταγραφή στα ελληνικά στο Teams: μία λάθος γλώσσα χαλάει όλο το κείμενο
• LanguageTool ή Grammarly στα ελληνικά: μόνο το ένα διορθώνει το κείμενο