Semantic cache για LLM: 86% οικονομία με ακρίβεια 91,2%

Στο benchmark της Amazon ElastiCache σε 63.796 ερωτήματα, το όριο ομοιότητας 0,75 συνδέθηκε με οικονομία 86% σε στρογγυλοποίηση —86,3% στον πίνακα— και ακρίβεια 91,2% στις απαντήσεις της cache. Η μείωση κόστους είναι μεγάλη, αλλά το αποτέλεσμα σημαίνει επίσης ότι μέρος των επαναχρησιμοποιημένων απαντήσεων δεν πέρασε το κριτήριο ακρίβειας της δοκιμής.

Στο ίδιο όριο, η cache εξυπηρέτησε το 90,3% των αιτημάτων. Το ποσοστό αυτό έχει παρονομαστή όλα τα αιτήματα, ενώ η ακρίβεια 91,2% αφορά μόνο όσα πήραν αποθηκευμένη απάντηση. Για μια ομάδα ανάπτυξης, η κρίσιμη ερώτηση είναι πόσες μη ακριβείς επιστροφές αντιστοιχούν στην οικονομία και αν ο αριθμός είναι αποδεκτός για κάθε είδος ερώτησης.

Τι μέτρησε το benchmark

Η δοκιμή χρησιμοποίησε ερωτήματα χρηστών chatbot και παραφράσεις τους από το δημόσιο σύνολο SemBenchmarkLmArena. Η cache ξεκίνησε άδεια και τα ερωτήματα πέρασαν με τυχαία σειρά. Η διαμόρφωση συνδύαζε ElastiCache cache.r7g.large για αποθήκευση, Amazon Titan Text Embeddings V2 για αναπαραστάσεις και Claude 3 Haiku για παραγωγή απαντήσεων. Το αποτέλεσμα ανήκει σε αυτή τη σύνθεση και σε αυτή την κατανομή ερωτημάτων.

Ο πίνακας δίνει εκτιμώμενο συνολικό ημερήσιο κόστος 49,50 δολάρια χωρίς cache και 6,80 δολάρια στο όριο 0,75. Στο αυστηρότερο 0,80, το κόστος είναι 7,60 δολάρια, το ποσοστό hits 87,6% και η ακρίβεια των cached απαντήσεων 91,8%. Στο χαλαρότερο 0,50, το κόστος μειώνεται στα 5,90 δολάρια και τα hits φθάνουν το 94,3%, ενώ η ακρίβεια υποχωρεί στο 87,5%. Πρόκειται για τιμές της συγκεκριμένης δοκιμής, όχι για προβλεπόμενο λογαριασμό κάθε εφαρμογής.

Η μέση καθυστέρηση ήταν 4,35 δευτερόλεπτα χωρίς cache, 0,60 στο όριο 0,80 και 0,51 στο 0,75. Αυτοί είναι μέσοι όροι ολόκληρης της ροής: όταν ένα αίτημα δεν βρίσκει αποδεκτή εγγραφή, χρειάζεται πάλι παραγωγή απάντησης από το LLM. Η επιλογή μοντέλου, αναπαραστάσεων και αποθήκευσης επηρεάζει επομένως τόσο το κόστος όσο και τον χρόνο απόκρισης.

Πόσες μη ακριβείς επιστροφές αναλογούν σε 10.000 αιτήματα;

Για κοινό παρονομαστή, πολλαπλασιάζουμε 10.000 αιτήματα επί το ποσοστό hits και επί το ποσοστό των cached απαντήσεων που δεν κρίθηκαν ακριβείς. Με τα στρογγυλοποιημένα ποσοστά του benchmark, η αναγωγή δίνει περίπου:

• 186 μη ακριβείς cached απαντήσεις στο όριο 0,99.
• 414 στο όριο 0,95.
• 574 στο όριο 0,90.
• 718 στο όριο 0,80.
• 795 στο όριο 0,75.
• 1.179 στο όριο 0,50.

Για παράδειγμα, στο 0,75 τα 10.000 αιτήματα αντιστοιχούν σε περίπου 9.030 hits. Αν το 91,2% αυτών είναι ακριβές κατά τον δείκτη της δοκιμής, το υπόλοιπο 8,8% δίνει περίπου 795 μη ακριβείς επιστροφές. Η αναγωγή δεν είναι καταμέτρηση περιστατικών σε παραγωγική εφαρμογή· εξαρτάται από τα δημοσιευμένα ποσοστά και από τον τρόπο με τον οποίο αξιολογήθηκε η ακρίβεια.

Ο αριθμός επίσης δεν μετρά την πρόσθετη ζημιά σε σύγκριση με μια νέα απάντηση του LLM. Και η νέα απάντηση μπορεί να είναι λανθασμένη. Για να απομονωθεί η επίδραση της cache, τα ίδια αιτήματα πρέπει να αξιολογηθούν και με ανακτημένη και με νέα απάντηση, με το ίδιο κριτήριο αποδοχής.

Τι κερδίζει και τι χάνει ένα χαλαρότερο όριο

Η μετάβαση από το 0,80 στο 0,75 ανεβάζει τα hits κατά 2,7 ποσοστιαίες μονάδες και την εξοικονόμηση κατά 1,7 μονάδες. Με την ίδια αναγωγή, προσθέτει περίπου 77 μη ακριβείς cached απαντήσεις ανά 10.000 αιτήματα. Από το 0,75 στο 0,50, η πρόσθετη εξοικονόμηση είναι ξανά 1,7 μονάδες, αλλά οι εκτιμώμενες μη ακριβείς επιστροφές αυξάνονται κατά περίπου 384. Το οριακό όφελος και το οριακό κόστος ποιότητας αλλάζουν μαζί με το threshold.

Η έρευνα της Apple για επαληθευμένο semantic caching περιγράφει το πρόβλημα του ενιαίου ορίου: ένα αυστηρό όριο χάνει ασφαλείς ευκαιρίες επαναχρησιμοποίησης, ενώ ένα χαλαρό μπορεί να επιστρέψει σημασιολογικά λανθασμένη απάντηση. Δύο ερωτήσεις μπορούν να μοιάζουν πολύ στις αναπαραστάσεις τους και παρ’ όλα αυτά να διαφέρουν στη λεπτομέρεια που καθορίζει τη σωστή απάντηση. Η βαθμολογία ομοιότητας επιλέγει έναν υποψήφιο για επαναχρησιμοποίηση· δεν πιστοποιεί την καταλληλότητά του.

Η επιχειρησιακή βαρύτητα μιας αστοχίας εξαρτάται από την πρόθεση. Μια αδέξια απάντηση σε γενική ερώτηση και ένας λανθασμένος όρος συναλλαγής δεν έχουν την ίδια συνέπεια. Γι’ αυτό το φθηνότερο όριο του πίνακα δεν είναι αυτομάτως η καλύτερη ρύθμιση για μια υπηρεσία που απαντά σε διαφορετικές κατηγορίες αιτημάτων.

Offline έλεγχος με την πραγματική κατανομή αιτημάτων

Η αξιολόγηση χρειάζεται ακολουθία αιτημάτων με τη συχνότητα επανάληψης, τη γλώσσα και τις μεταβολές δεδομένων της ίδιας της εφαρμογής. Συμπεριλάβετε αυτούσιες επαναλήψεις, ασφαλείς παραφράσεις και σχεδόν όμοιες ερωτήσεις στις οποίες μια μικρή αλλαγή μεταβάλλει τη σωστή απάντηση. Κρατήστε χωριστό σύνολο αξιολόγησης, ώστε η επιλογή ορίου να μη βασιστεί μόνο στα παραδείγματα με τα οποία ρυθμίστηκε η cache.

Οι οδηγίες της Amazon ElastiCache προτείνουν φίλτρα από το πλαίσιο της εφαρμογής, όπως προϊόν, κατηγορία και περιοχή, καθώς και λήξη ή ακύρωση εγγραφών όταν αλλάζουν τα δεδομένα. Για απαντήσεις που διαφέρουν μεταξύ Ελλάδας και Κύπρου, η περιοχή πρέπει να συμμετέχει στον έλεγχο καταλληλότητας του hit. Για πληροφορίες προϊόντος που ενημερώθηκαν, η παλιά εγγραφή πρέπει να πάψει να εξυπηρετεί αιτήματα ακόμη κι αν η νέα ερώτηση μοιάζει πολύ με την προηγούμενη.

1. Ομαδοποιήστε τα αιτήματα ανά πρόθεση και σημειώστε ποιες απαντήσεις αλλάζουν με τον χρόνο, τον χρήστη ή την περιοχή.
2. Αναπαράγετε την ίδια ακολουθία για κάθε υποψήφιο όριο. Για κάθε hit, καταγράψτε την παλιά και τη νέα ερώτηση, την ανακτημένη απάντηση, τη βαθμολογία ομοιότητας και την κρίση αποδοχής.
3. Μετρήστε χωριστά το ποσοστό hits, την ακρίβεια μεταξύ των hits και τις λανθασμένες αποδοχές ανά 10.000 συνολικά αιτήματα. Αξιολογήστε επίσης νέα απάντηση του LLM στα ίδια αιτήματα.
4. Επαναλάβετε τον έλεγχο μετά από αλλαγές σε προϊόντα, πολιτικές ή διαθέσιμα δεδομένα, ώστε να φανεί αν η λήξη και η ακύρωση αποτρέπουν ξεπερασμένες επιστροφές.

Στον υπολογισμό κόστους ανήκουν τα embeddings, η αποθήκευση, τυχόν επαλήθευση και οι κλήσεις που εξακολουθούν να φθάνουν στο LLM. Ένα υψηλό hit rate από μόνο του δεν δείχνει την καθαρή οικονομία της εφαρμογής, όπως ένα υψηλό ποσοστό ακρίβειας μεταξύ hits δεν δείχνει πόσοι χρήστες έλαβαν μη ακριβή cached απάντηση.

Όριο σφάλματος για κάθε πρόθεση

Ένα κοινό threshold αναμειγνύει ερωτήσεις με διαφορετική ανοχή στο λάθος. Για σταθερές, επαναλαμβανόμενες απαντήσεις μπορεί να επιτρέπεται περισσότερη επαναχρησιμοποίηση. Για εξατομικευμένες ή συχνά μεταβαλλόμενες απαντήσεις, η ομάδα μπορεί να απαιτήσει αυστηρότερο όριο, πρόσθετη επαλήθευση ή αποκλεισμό από την cache. Η επιλογή πρέπει να βασίζεται στις λανθασμένες αποδοχές κάθε ομάδας και στο κόστος τους, όχι στον συνολικό μέσο όρο.

Η ερευνητική εργασία vCache στο ICLR 2026 προτείνει εκτίμηση ορίου για κάθε αποθηκευμένη ερώτηση, με όριο σφάλματος που ορίζει ο χρήστης, αντί για μία σταθερή τιμή παντού. Για την επιλογή σε μια συγκεκριμένη υπηρεσία, το ουσιαστικό κριτήριο παραμένει το χαμηλότερο μετρημένο κόστος μεταξύ των ρυθμίσεων που περνούν το αποδεκτό όριο λανθασμένων hits σε κάθε πρόθεση.

Διαβάστε επίσης:

• Τοπικό LLM ή cloud API: το cache μπορεί να ανατρέψει το κόστος
• Muse για μικρές επιχειρήσεις: οι δημοσιεύσεις περιμένουν ακόμη έγκριση
• Ghost ή beehiiv: οι 2.500 συνδρομητές αλλάζουν την οικονομία