RAG chunks: το ίδιο μέγεθος δεν κερδίζει σε κάθε σύνολο δεδομένων

Δεν υπάρχει μέγεθος τμήματος που να δίνει την καλύτερη ανάκτηση σε κάθε συλλογή RAG. Στην ανάλυση της Fraunhofer IAIS, δοκιμάστηκαν τμήματα 64, 128, 256, 512 και 1.024 token σε έξι σύνολα δεδομένων: με το μοντέλο Stella, το Recall@1 στο SQuAD ήταν 64,19% στα 64 token και 38,55% στα 1.024, ενώ με το Snowflake στο TechQA ήταν 4,45% και 71,54% αντίστοιχα. Οι τιμές αφορούν συγκεκριμένα δεδομένα και μοντέλα embeddings.

Για τη δική σας εφαρμογή, συγκρίνετε τα υποψήφια μεγέθη στα ίδια έγγραφα και ερωτήματα, κρατώντας αρχικά σταθερό το top-k, δηλαδή πόσα τμήματα επιστρέφει η αναζήτηση. Μετρήστε αν ανακτάται η πλήρης τεκμηρίωση της απάντησης και πόσα token καταλαμβάνουν τα αποτελέσματα στο prompt. Έπειτα μεταβάλετε το top-k στις επικρατέστερες ρυθμίσεις, ώστε η τελική επιλογή να λαμβάνει υπόψη και την ποιότητα ανάκτησης και τον διαθέσιμο χώρο context.

Γιατί αλλάζει η επίδοση ανά συλλογή

Η θέση και η έκταση της απάντησης μέσα στο έγγραφο επηρεάζουν το χρήσιμο μήκος του τμήματος. Μια σύντομη πραγματολογική απάντηση μπορεί να χωρά σε μικρό, εστιασμένο απόσπασμα. Μια τεχνική εξήγηση μπορεί να χρειάζεται γειτονικές προτάσεις που περιγράφουν τις συνθήκες και τη λύση· αν η κοπή τις χωρίσει, η αναζήτηση ενδέχεται να επιστρέψει μόνο μέρος της τεκμηρίωσης.

Το είδος του κειμένου αλλάζει επίσης το αποτέλεσμα. Σε ελεγχόμενο πείραμα με μαθηματικό εγχειρίδιο και αφηγηματικό κείμενο, ο τεμαχισμός ανά παράγραφο είχε την υψηλότερη μέση επίδοση ανάκτησης στο εγχειρίδιο, ενώ ο τεμαχισμός ανά πρόταση απέδωσε καλύτερα στο αφηγηματικό κείμενο. Εκεί η επίδοση μετρήθηκε με τη θέση του πρώτου σχετικού αποτελέσματος και η συνάφεια κρίθηκε από μοντέλο· οι τιμές δεν συγκρίνονται απευθείας με το Recall@k του προηγούμενου πειράματος.

Έτσι, η διαφορά ανάμεσα σε συλλογές δεν εξηγείται μόνο από το μήκος των εγγράφων. Μετρά και το αν το ερώτημα παραπέμπει σε μία εντοπισμένη φράση ή απαιτεί περιεχόμενο από περισσότερα σημεία. Η ίδια κοπή μπορεί να αφήσει ακέραιη μια απάντηση και να διασπάσει μια άλλη.

Πώς φτιάχνεται συγκρίσιμο benchmark

Ξεκινήστε με ένα σταθερό σύνολο εγγράφων και πραγματικών ερωτήσεων από τη χρήση που σας ενδιαφέρει. Συμπεριλάβετε ερωτήσεις με σύντομη απάντηση, ερωτήσεις που απαιτούν επεξήγηση και περιπτώσεις όπου τα αναγκαία στοιχεία βρίσκονται σε γειτονικές ενότητες. Για κάθε ερώτηση σημειώστε εκ των προτέρων ποιο χωρίο, ή ποιος συνδυασμός χωρίων, αρκεί για πλήρη απάντηση.

Δημιουργήστε χωριστό ευρετήριο για κάθε μέγεθος της σειράς 64–1.024 token. Κρατήστε ίδιο τον καθαρισμό των εγγράφων, το μοντέλο embeddings, τη μέθοδο αναζήτησης και, στην πρώτη σύγκριση, το top-k. Ορίστε επίσης σταθερή πολιτική επικάλυψης και ορίων ενοτήτων. Αν αλλάξουν μαζί το μέγεθος και τα embeddings, η μεταβολή της ανάκτησης δεν μπορεί να αποδοθεί καθαρά στο μέγεθος.

Τα σταθερά όρια token δίνουν μια απλή βάση σύγκρισης, αλλά αξίζει να εξετάσετε τι συμβαίνει σε τίτλους, πίνακες και διαδοχικές παραγράφους του υλικού σας. Οι οδηγίες της Microsoft για τον τεμαχισμό συνδέουν την επιλογή με τη δομή του εγγράφου και επισημαίνουν ότι πολύ μικρά τμήματα μπορεί να χωρίζουν το αναγκαίο context. Αν δοκιμάσετε διαφορετικό τρόπο κοπής ή επικάλυψη, καταγράψτε τον ως ξεχωριστή ρύθμιση του benchmark.

Τι μετρά το Recall@k — και τι χάνει

Στο μικρό benchmark, ορίστε ως επιτυχία ότι στα πρώτα k αποτελέσματα βρίσκεται όλη η τεκμηρίωση που απαιτεί η ερώτηση. Το ποσοστό επιτυχημένων ερωτήσεων δίνει ένα πρακτικό Recall@k για αυτή την εργασία. Αν μια απάντηση απαιτεί δύο χωρία, ένα αποτέλεσμα που περιέχει μόνο το πρώτο δεν πρέπει να βαθμολογείται ως πλήρες, ακόμη κι αν περιλαμβάνει τις λέξεις της ερώτησης.

Η επισήμανση των σωστών χωρίων θέλει προσοχή. Μια αναφορά στον γενικό κανόνα δεν απαντά απαραίτητα σε ερώτηση για την εξαίρεσή του, ενώ ένα απόσπασμα μπορεί να χρησιμοποιεί διαφορετικές λέξεις και παρ’ όλα αυτά να δίνει επαρκή τεκμηρίωση. Ελέγξτε λοιπόν με τον ίδιο κανόνα συνάφειας όλες τις ρυθμίσεις και κρατήστε χωριστά τα αποτελέσματα ανά τύπο ερώτησης. Ένας ενιαίος μέσος όρος μπορεί να κρύψει ότι μια επιλογή κερδίζει στις σύντομες απαντήσεις και χάνει στις επεξηγήσεις.

Καταγράψτε επίσης τη θέση του πρώτου πλήρους τεκμηρίου. Αν εμφανίζεται συχνά στο τελευταίο από τα ανακτημένα τμήματα, μια μείωση του top-k μπορεί να το αποκλείσει. Η θέση βοηθά να ξεχωρίσετε δύο ρυθμίσεις με παρόμοιο ποσοστό επιτυχίας αλλά διαφορετική κατάταξη των χρήσιμων αποτελεσμάτων.

Πότε το top-k γεμίζει άσκοπα το context

Δίπλα στην επιτυχία ανάκτησης μετρήστε τα πραγματικά token που περνούν στο prompt από τα ανακτημένα τμήματα. Προσθέστε τίτλους, μεταδεδομένα και περιεχόμενο που επαναλαμβάνεται λόγω επικάλυψης, εφόσον πράγματι αποστέλλονται στο μοντέλο. Το γινόμενο του ονομαστικού μεγέθους τμήματος επί το top-k είναι μόνο εκτίμηση: τα τελικά τμήματα ενός εγγράφου μπορεί να είναι συντομότερα και το prompt περιλαμβάνει επιπλέον κείμενο.

Οι οδηγίες της Microsoft για το context του RAG προτείνουν να ρυθμίζεται το top-k με μετρικές αξιολόγησης: υπερβολικά λίγα αποτελέσματα μπορεί να παραλείψουν χρήσιμο υλικό, ενώ υπερβολικά πολλά καταναλώνουν token και προσθέτουν θόρυβο. Το διαθέσιμο όριο αφορά ολόκληρο το αίτημα, μαζί με οδηγίες, ερώτηση, ιστορικό συνομιλίας όπου υπάρχει και χώρο για την απάντηση.

Μετά την αρχική σύγκριση με σταθερό top-k, δοκιμάστε μικρότερες και μεγαλύτερες τιμές μόνο για τα μεγέθη που ανακτούν αξιόπιστα την τεκμηρίωση. Έτσι θα φανεί αν ένα επιπλέον τμήμα βρίσκει συχνότερα την απάντηση ή απλώς προσθέτει άσχετο κείμενο. Για τις επικρατέστερες ρυθμίσεις, ελέγξτε σε δείγμα ερωτήσεων και την παραγόμενη απάντηση: η παρουσία του σωστού χωρίου στα αποτελέσματα δεν εγγυάται ότι το μοντέλο θα το χρησιμοποιήσει σωστά.

Πώς προκύπτει η τελική ρύθμιση

Επιλέξτε τον συνδυασμό μεγέθους και top-k που ανακτά πλήρη τεκμήρια για τους σημαντικούς τύπους ερωτήσεων μέσα στον διαθέσιμο προϋπολογισμό context. Αν δύο συνδυασμοί έχουν παρόμοια επιτυχία, τα λιγότερα άσχετα token είναι ουσιαστικό πλεονέκτημα. Αν οι τύποι ερωτήσεων αποκλίνουν έντονα, η καταγραφή ανά κατηγορία δείχνει ποια χρήση εξυπηρετεί κάθε επιλογή και πού χρειάζεται διαφορετική πολιτική τεμαχισμού.

Διαβάστε επίσης:

• RAG ή fine-tuning: λάθος επιλογή αυξάνει και κόστος και λάθη
• Coursera ή LinkedIn Learning: το πιστοποιητικό δεν αγοράζει το ίδιο βάθος
• ΤΝ στα σχολεία: 4 στους 10 νέους τη χρησιμοποιούν, η μάθηση δεν είναι δεδομένη