BuzzASR ή Whisper για ελληνικά: το WER πέφτει στο 11%

Στην κάρτα του BuzzASR/greek, το ελληνικό μοντέλο καταγράφει WER 11% στο FLEURS και 16,48% στο Common Voice 25. Είναι μια προσαρμογή του Whisper-large-v3 αποκλειστικά για αναγνώριση ελληνικής ομιλίας. Το χαμηλό ποσοστό στο FLEURS το καθιστά ενδιαφέρουσα επιλογή για καθαρή ελληνική εκφώνηση, όχι όμως αποδεδειγμένα ακριβέστερη λύση για κάθε συνέντευξη, σύσκεψη ή υπαγόρευση.

Στον πίνακα της κοινής αξιολόγησης BuzzASR, η συγκεκριμένη απλή ελληνική προσαρμογή έχει WER 15,91% στο συνδυασμένο FLEURS και Common Voice 25, έναντι 13,58% του αρχικού Whisper-large-v3. Επομένως, για αυτή την έκδοση και αυτό το κοινό δείγμα, το Whisper κάνει λιγότερα λάθη λέξεων. Αν προέχουν η πολυγλωσσία ή οι περιορισμένοι υπολογιστικοί πόροι, προσφέρει επιπλέον πρακτικές επιλογές· αν το υλικό είναι σταθερά ελληνικό, αξίζει να συγκριθούν τα δύο μοντέλα σε αντιπροσωπευτικό ήχο.

Τι συγκρίνεται πραγματικά στα δημοσιευμένα τεστ

Η σύγκριση είναι χρήσιμη όταν αφορά τα ίδια ηχητικά αποσπάσματα και τον ίδιο τρόπο βαθμολόγησης. Το μεμονωμένο αποτέλεσμα του FLEURS περιγράφει ένα υποσύνολο δοκιμής, ενώ το συνδυασμένο αποτέλεσμα περιλαμβάνει και Common Voice. Η διαφορετική σύνθεση αρκεί για να αλλάξει ο μέσος όρος. Δεν είναι αντίφαση να βλέπει κανείς ελκυστικό σκορ στη μία δοκιμή και προβάδισμα του Whisper στην κοινή αξιολόγηση.

Το FLEURS βασίζεται σε εκφωνημένες προτάσεις. Η Mozilla Common Voice συγκεντρώνει επίσης προτάσεις που διαβάζουν εθελοντές και των οποίων οι ηχογραφήσεις ελέγχονται από άλλους συμμετέχοντες. Η ποικιλία φωνών και συνθηκών λήψης έχει αξία, αλλά η ανάγνωση έτοιμης πρότασης διαφέρει από μια αυθόρμητη συζήτηση με διακοπές, δισταγμούς και ομιλητές που μιλούν ταυτόχρονα. Γι’ αυτό τα δημοσιευμένα ποσοστά είναι αφετηρία επιλογής, όχι πρόβλεψη για μια συγκεκριμένη αίθουσα ή ένα συγκεκριμένο μικρόφωνο.

Η ετικέτα BuzzASR καλύπτει περισσότερες από μία πειραματικές μεθόδους προσαρμογής. Το μοντέλο της δημόσιας κάρτας χρησιμοποιεί την απλή προσαρμογή του Whisper· το αποτέλεσμα άλλης ρύθμισης στην ερευνητική εργασία δεν πρέπει να αποδίδεται αυτομάτως σε αυτό το μοντέλο. Για όποιον χρειάζεται έτοιμο μοντέλο ελληνικής μεταγραφής, η ταυτότητα του αρχείου μοντέλου έχει την ίδια σημασία με το όνομα της οικογένειας.

Πώς διαβάζονται WER και CER

Το WER μετρά πόσες λέξεις αντικαταστάθηκαν, παραλείφθηκαν ή προστέθηκαν σε σχέση με μια διορθωμένη μεταγραφή αναφοράς. Το σύνολο αυτών των λαθών διαιρείται με τον αριθμό λέξεων της αναφοράς. Ένα ποσοστό WER αφορά ολόκληρο το εξεταζόμενο σύνολο: δεν σημαίνει ότι τα λάθη κατανέμονται ομοιόμορφα σε κάθε ηχογράφηση. Μια δύσκολη φράση με κύρια ονόματα μπορεί να απαιτεί πολλή διόρθωση, ακόμη κι όταν ο γενικός μέσος όρος φαίνεται χαμηλός.

Το CER εφαρμόζει την ίδια λογική σε χαρακτήρες και αποτυπώνει λεπτότερες αποκλίσεις, όπως ένα λανθασμένο γράμμα μέσα σε λέξη. Το WER συνδέεται πιο άμεσα με την επεξεργασία μιας απομαγνητοφώνησης λέξη προς λέξη. Κανένας από τους δύο δείκτες, ωστόσο, δεν αποδίδει από μόνος του τη βαρύτητα του λάθους: μια χαμένη άρνηση ή ένα λανθασμένο όνομα μπορεί να επηρεάσει το νόημα περισσότερο από πολλές μικρές ορθογραφικές αποκλίσεις.

Μετρά και η κανονικοποίηση πριν από τη βαθμολόγηση. Η μετατροπή σε πεζά, η αφαίρεση στίξης και η τακτοποίηση των κενών μπορούν να αλλάξουν το τελικό ποσοστό χωρίς να έχει αλλάξει η ηχογράφηση. Οι βαθμολογίες διαφορετικών εκδόσεων ενός συνόλου ή διαφορετικών μελετών δεν είναι αυτομάτως συγκρίσιμες. Η ουσιαστική σύγκριση για έναν χρήστη απαιτεί τα ίδια αποσπάσματα, το ίδιο κείμενο αναφοράς και ενιαίους κανόνες για τα δύο μοντέλα.

Καθαρή ομιλία, συνεντεύξεις και συσκέψεις

Για έναν ομιλητή που υπαγορεύει καθαρά στα ελληνικά, το BuzzASR/greek είναι εύλογο μοντέλο προς δοκιμή: η γλωσσική του εξειδίκευση ταιριάζει με τη χρήση και υπάρχει δημοσιευμένο αποτέλεσμα σε ελληνική ομιλία. Αυτό δεν δίνει αυτόματα πλεονέκτημα απέναντι στο Whisper-large-v3 στο δικό του αρχείο. Αν η εργασία περιλαμβάνει μόνο ελληνικά, η σύγκριση της απαιτούμενης διόρθωσης σε πραγματικά αποσπάσματα είναι πιο χρήσιμη από την επιλογή βάσει ενός μεμονωμένου ποσοστού.

Σε συνέντευξη, ονόματα προσώπων, τοπωνύμια και σύντομες παρεμβάσεις μπορεί να είναι τα σημεία που καθορίζουν τον χρόνο επιμέλειας. Σε σύσκεψη, μια φράση που χάνεται επειδή μιλούν πολλοί μαζί μπορεί να έχει μεγαλύτερη σημασία από μια ορθογραφική αστοχία. Ο θόρυβος, η απόσταση από το μικρόφωνο και η εναλλαγή ομιλητών μεταβάλλουν επίσης το υλικό που λαμβάνει το σύστημα. Τα ποσοστά των δοκιμών με εκφωνημένες προτάσεις δεν ποσοτικοποιούν αυτές τις συνθήκες.

Η επιλογή αποκτά νόημα όταν το μικρό δείγμα δοκιμής περιλαμβάνει και τις δύσκολες στιγμές της πραγματικής εργασίας: την αρχή μιας συνέντευξης, μια γρήγορη ανταλλαγή σε σύσκεψη ή μια προφορά που εμφανίζεται συχνά. Εκτός από τον συνολικό δείκτη, μετρούν οι παραλείψεις ολόκληρων φράσεων και οι διορθώσεις στα κρίσιμα ονόματα. Για υλικό με τοπικές ποικιλίες, χρειάζεται ιδιαίτερη προσοχή στις διαλέκτους και τις προφορές, επειδή ένας γενικός μέσος όρος μπορεί να κρύβει άνιση απόδοση.

Γιατί το ιατρικό λεξιλόγιο αλλάζει την επιλογή

Η αναγνώριση ελληνικών δεν συνεπάγεται εξοικείωση με ειδικούς ιατρικούς όρους. Σε πτυχιακή εργασία του Οικονομικού Πανεπιστημίου Αθηνών, η πλήρης αλυσίδα προσαρμοσμένου Whisper και ελληνικού GPT-2 μείωσε το WER κατά 37,23% έως 47,45% σε σχέση με τις αντίστοιχες αρχικές εκδόσεις Whisper, ανάλογα με το μέγεθος του μοντέλου. Το GPT-2 επέλεγε ανάμεσα σε υποψήφιες μεταγραφές του Whisper. Η μείωση αφορά ολόκληρη αυτή τη διάταξη και τη δοκιμή της, όχι ένα αυτόνομο GPT-2 ούτε τη δημόσια έκδοση του BuzzASR/greek.

Υπάρχει ουσιώδες όριο για την κλινική χρήση: τα δεδομένα ομιλίας προέρχονταν από γενικά ελληνικά σύνολα, ενώ η ιατρική προσαρμογή βασίστηκε σε μεγάλο βαθμό σε κείμενα. Δεν χρησιμοποιήθηκαν αυθεντικές ηχογραφήσεις κλινικής υπαγόρευσης στην αξιολόγηση. Το αποτέλεσμα δείχνει ότι η προσαρμογή στο λεξιλόγιο και η επιλογή ανάμεσα σε υποψήφιες μεταγραφές μπορούν να βελτιώσουν τη μέτρηση της συγκεκριμένης αλυσίδας. Όταν μια μεταγραφή πρόκειται να χρησιμοποιηθεί σε ιατρικό πλαίσιο, οι κρίσιμοι όροι και οι δόσεις χρειάζονται ανθρώπινο έλεγχο.

Πολυγλωσσία και διαθέσιμος εξοπλισμός

Το Whisper έχει σαφές λειτουργικό πλεονέκτημα όταν η ροή εργασίας περιλαμβάνει περισσότερες γλώσσες, αναγνώριση γλώσσας ή μετάφραση ομιλίας στα αγγλικά. Το επίσημο αποθετήριο του Whisper περιγράφει αυτές τις λειτουργίες και δίνει ενδεικτικές ανάγκες μνήμης περίπου 2 GB για το small, 6 GB για το turbo και 10 GB για το large. Επισημαίνει επίσης ότι το turbo δεν έχει εκπαιδευτεί για μετάφραση και ότι οι δημοσιευμένες συγκρίσεις ταχύτητας βασίζονται σε αγγλική ομιλία. Το BuzzASR/greek, ως προσαρμογή του μεγάλου μοντέλου για μία γλώσσα, εξυπηρετεί διαφορετική ανάγκη.

Αν ο διαθέσιμος εξοπλισμός δυσκολεύεται με ένα μεγάλο μοντέλο, μια μικρότερη έκδοση Whisper μπορεί να επιτρέψει την τοπική μεταγραφή, με τίμημα που πρέπει να εκτιμηθεί από την ποιότητα του αποτελέσματος. Αν υπάρχουν επαρκείς πόροι και ο ήχος είναι αποκλειστικά ελληνικός, η σύγκριση BuzzASR/greek και Whisper-large-v3 έχει περισσότερο νόημα. Η χαμηλότερη δημοσιευμένη τιμή σε ένα υποσύνολο δοκιμής είναι λόγος να εξεταστεί ένα μοντέλο· η τελική επιλογή εξαρτάται από τα λάθη και τον χρόνο διόρθωσης στο είδος ηχογράφησης που πράγματι χρησιμοποιείται.

Διαβάστε επίσης:

• Απομαγνητοφώνηση ελληνικών: το χαμηλό WER κρύβει το πρόβλημα των διαλέκτων
• Stock options σε ελληνική startup: το 5% θέλει αναμονή 36 μηνών
• Δωρεάν εργαλεία ΤΝ για το Δημόσιο: από ανωνυμοποίηση έως eSummary