RAG ή fine-tuning: λάθος επιλογή αυξάνει και κόστος και λάθη

Για εταιρικές απαντήσεις που εξαρτώνται από ιδιωτικά ή μεταβαλλόμενα δεδομένα, ξεκινήστε συνήθως με RAG: ανακτά σχετικό περιεχόμενο όταν τίθεται η ερώτηση. Αν οι πληροφορίες είναι ήδη διαθέσιμες στο μοντέλο, αλλά αυτό αποτυγχάνει συστηματικά στη μορφή ή στον τρόπο εκτέλεσης, εξετάστε fine-tuning. Η τεχνική καθοδήγηση της OpenAI διαχωρίζει τις ελλείψεις πλαισίου από την ασυνέπεια συμπεριφοράς.

Η λάθος επιλογή μπορεί να αφήσει την αιτία των σφαλμάτων ανέπαφη και να προσθέσει κόστος εκπαίδευσης ή ανάκτησης. Η απόφαση χρειάζεται μια μικρή αξιολόγηση με πραγματικές ερωτήσεις και σύγκριση του συνολικού κόστους ανά αποδεκτή απάντηση, μαζί με τον χρόνο ανθρώπινου ελέγχου.

Τι αλλάζει στην πράξη κάθε μέθοδος

Το RAG προσθέτει στο αίτημα αποσπάσματα που ανακτώνται από μια εξωτερική συλλογή. Έτσι, μια ισχύουσα πολιτική ή ένα ενημερωμένο εγχειρίδιο μπορεί να χρησιμοποιηθεί χωρίς νέα εκπαίδευση του μοντέλου, αρκεί το έγγραφο να έχει περάσει στη συλλογή και να ανακτηθεί το σωστό τμήμα. Η ποιότητα της απάντησης εξαρτάται επομένως και από την ενημέρωση των δεδομένων και από την ποιότητα της αναζήτησης.

Το fine-tuning προσαρμόζει το μοντέλο με παραδείγματα της εργασίας και των επιθυμητών απαντήσεων. Είναι υποψήφια λύση όταν απαιτείται σταθερή δομή, ταξινόμηση ή εφαρμογή ενός επαναλαμβανόμενου κανόνα. Αν όμως αλλάζει η πληροφορία στην οποία βασίζεται η απάντηση, η εκπαίδευση θα χρειάζεται νέο υλικό και νέα αξιολόγηση· από μόνη της δεν παρέχει πρόσβαση στην ισχύουσα έκδοση ενός εταιρικού εγγράφου.

Τέσσερις διαγνώσεις πριν από την επένδυση

Συγκεντρώστε αντιπροσωπευτικές ερωτήσεις, ελεγμένες απαντήσεις και το περιεχόμενο από το οποίο προκύπτει καθεμία. Κρατήστε τις ίδιες ερωτήσεις όταν αλλάζετε μέθοδο. Για κάθε αστοχία σημειώστε αν η πληροφορία υπήρχε στη συλλογή, αν ανακτήθηκε και αν το μοντέλο τη χρησιμοποίησε σωστά:

• Παλιά γνώση. Η απάντηση ακολουθεί προηγούμενη έκδοση μιας πολιτικής, ενώ η ισχύουσα έκδοση υπάρχει στα δεδομένα. Δώστε προσωρινά στο μοντέλο το σωστό απόσπασμα. Αν η απάντηση διορθωθεί, η προτεραιότητα είναι η πρόσβαση στο ενημερωμένο περιεχόμενο και η έγκαιρη ανανέωση της συλλογής.
• Λάθος μορφή. Τα γεγονότα είναι σωστά, αλλά λείπουν απαιτούμενα πεδία ή η έξοδος παραβιάζει μια σταθερή δομή. Δοκιμάστε πρώτα σαφέστερες οδηγίες και αντιπροσωπευτικά παραδείγματα μέσα στο αίτημα. Αν το ίδιο πρόβλημα επιμένει σε νέες ερωτήσεις, το fine-tuning έχει συγκεκριμένο στόχο προς αξιολόγηση.
• Ανεπαρκής ανάκτηση. Η σωστή πληροφορία βρίσκεται στη συλλογή, αλλά δεν εμφανίζεται στα αποσπάσματα που λαμβάνει το μοντέλο ή χάνεται ανάμεσα σε άσχετα αποτελέσματα. Συγκρίνετε τα ανακτημένα τμήματα με εκείνα που χρειάζονται για την απάντηση. Εδώ προέχει η αναζήτηση και η επιλογή αποσπασμάτων.
• Ασυνεπής συμπεριφορά. Το σωστό απόσπασμα φτάνει στο μοντέλο, αλλά εκείνο το αγνοεί σε ορισμένες ερωτήσεις ή εφαρμόζει ασταθώς έναν κανόνα απάντησης. Με σταθερό διαθέσιμο περιεχόμενο, συγκρίνετε καλύτερες οδηγίες, παραδείγματα και ένα προσαρμοσμένο μοντέλο. Έτσι μετράτε συμπεριφορά χωρίς να τη συγχέετε με την ανάκτηση.

Οι αιτίες μπορούν να συνυπάρχουν. Μια συλλογή μπορεί να χρειάζεται καλύτερη αναζήτηση, ενώ το μοντέλο εξακολουθεί να δυσκολεύεται να χρησιμοποιήσει το σωστό απόσπασμα. Η χωριστή καταγραφή των αποτυχιών δείχνει αν χρειάζεται βελτίωση ενός σταδίου ή συνδυασμός μεθόδων.

Τι δείχνουν οι συγκρίσεις για ερωτήσεις γνώσης

Στις εργασίες γνώσης που εξέτασαν οι Ovadia και συνεργάτες, το RAG ξεπέρασε σταθερά το unsupervised fine-tuning τόσο για ήδη γνωστά όσο και για νέα γεγονότα. Η σύγκριση αφορά εκπαίδευση πάνω σε κείμενο χωρίς επισημασμένα ζεύγη ερώτησης και σωστής απάντησης. Δεν μετρά κάθε πιθανή μορφή supervised fine-tuning ούτε εργασίες όπου το κύριο ζητούμενο είναι η μορφή της εξόδου.

Αυτό εξηγεί γιατί η διάγνωση προηγείται του κόστους υλοποίησης. Όταν η αποτυχία προκύπτει επειδή λείπει ένα συγκεκριμένο γεγονός από το αίτημα, περισσότερα παραδείγματα ύφους δεν το προσθέτουν. Αντίστροφα, όταν το σωστό γεγονός έχει ήδη ανακτηθεί, η προσθήκη περισσότερων αποσπασμάτων μπορεί να αυξήσει τον θόρυβο. Η αξιολόγηση πρέπει να ελέγχει χωριστά αν βρέθηκε το κατάλληλο τεκμήριο και αν η τελική απάντηση είναι σωστή.

Το φύλλο κόστους περιλαμβάνει και τον άνθρωπο

Η τιμή ανά αίτημα δεν αρκεί για σύγκριση. Σε βιομηχανική μελέτη των Sturm και συνεργατών με δεδομένα της αυτοκινητοβιομηχανίας, μια αρχική διαμόρφωση για δύσκολες ερωτήσεις ποιότητας έφτασε σε εκτιμώμενο συνολικό κόστος $1,43 ανά επιτυχή εργασία, έναντι υπόθεσης $1 για χειροκίνητη διεκπεραίωση. Οι τιμές εξαρτώνται από τις παραδοχές της μελέτης για την παραγωγή απαντήσεων, την επανάληψη, την επικύρωση και την ανθρώπινη παρέμβαση· δεν αποτελούν τιμοκατάλογο για άλλη επιχείρηση.

Στο δικό σας φύλλο κόστους βάλτε στην ίδια μονάδα την προετοιμασία δεδομένων, την εκπαίδευση όπου απαιτείται, την ενημέρωση της συλλογής, την ανάκτηση και την παραγωγή απάντησης. Προσθέστε τον χρόνο που χρειάζεται κάποιος για να κρίνει αν η απάντηση είναι αποδεκτή, τις επανεκτελέσεις και τις περιπτώσεις όπου τελικά αναλαμβάνει ο ίδιος την εργασία. Μοιράστε το αρχικό κόστος στον αναμενόμενο όγκο χρήσης, επειδή η ίδια επένδυση επιβαρύνει διαφορετικά μια σπάνια και μια συχνή εργασία.

Μετρήστε επίσης τις αποτυχίες ανά τύπο ερώτησης. Μια φθηνή παραγωγή που απαιτεί συχνές διορθώσεις μπορεί να κοστίζει περισσότερο από μια ακριβότερη απάντηση που γίνεται δεκτή αμέσως. Έτσι, ποιότητα και κόστος κρίνονται μαζί, με το ίδιο όριο αποδοχής για όλες τις υποψήφιες λύσεις.

Πότε έχει νόημα ο συνδυασμός

RAG και fine-tuning μπορούν να συνυπάρχουν όταν η εφαρμογή χρειάζεται και πρόσβαση σε μεταβαλλόμενα εταιρικά στοιχεία και σταθερό τρόπο χρήσης τους. Για παράδειγμα, η ανάκτηση μπορεί να παρέχει την ισχύουσα πληροφορία, ενώ η προσαρμογή εκπαιδεύει το μοντέλο να απαντά με απαιτούμενη δομή πάνω σε τέτοια αποσπάσματα. Ο συνδυασμός αξίζει μόνο αν η ίδια αξιολόγηση δείξει βελτίωση απέναντι στις απλούστερες εκδοχές και αν το πρόσθετο κόστος διατηρεί χαμηλότερο το κόστος ανά αποδεκτή απάντηση.

Διαβάστε επίσης:

• Αυτοεργοδοτούμενος ή εταιρεία στην Κύπρο: η απλή αρχή έχει άλλο κόστος
• Stripe ή Viva.com: το IRIS και ο χρόνος εκκαθάρισης αλλάζουν τον νικητή
• Google Drive ή OneDrive: ο χώρος δεν είναι το μόνο κόστος