Semantiline LLM-vahemälu: sääst ja vale vaste kulu

Semantilise LLM-vahemälu kasu hindamiseks võrdle samal päringujadal vahemäluta teenust, täpset vahemälu ja semantilist vahemälu. Mõõda, mitu mudelikutset kumbki väldib, millised salvestatud vastused sobivad uuele küsimusele, kui kaua kasutaja vastust ootab ja mis jääb pärast kõiki kulusid säästuks. Semantilise variandi tabamusmäär üksi ei näita, kui sageli sai kasutaja vale vastuse.

LLM-teeninduse semantilise vahemälu uurimus käsitleb koos värske mudelivastuse teeninduskulu ja sarnase päringu vastuse taaskasutamise võimalikku sobimatuse kulu. Uurimuse mudelis on viimane seotud päringute kaugusega; konkreetse teenuse rahalist veakulu tuleb eraldi hinnata. Välditud mudelikutse on seega sääst ainult siis, kui vastus sobib ning vahemälu kasutamise ja vigade kulud seda säästu ära ei söö.

Märgenda, millal salvestatud vastus sobib

Koosta eestikeelse teenuse päringulogist ajaliselt järjestatud test. Säilita küsimus ja algses töövoos antud vastus, kuid eemalda või asenda isikuandmed enne, kui inimesed näiteid märgendavad. Kui vastus sõltub vestluse ajaloost, otsingust leitud dokumendist või kasutajakontost, peab ka see tingimus olema testis esindatud. Sama küsimuse sõnastus ei taga eri kontekstides sama õiget vastust.

Vali nii korduvaid kui ka haruldasemaid päringuid ning märgenda paarikaupa, kas ühe küsimuse salvestatud vastuse võib teisele anda muutmata kujul. Märgend peab puudutama vastust, mitte üksnes küsimuste teemalist sarnasust. Tingliku näitena võivad avamata kauba ja puudusega kauba tagastamise küsimused olla sõnastuselt lähedased, kuid vajada eri vastust; otsus sõltub teenuse tegelikest tingimustest ja salvestatud vastuse sisust.

Kirjuta piiripealse paari juurde sobivuse põhjus: erinev toode, muutunud tingimus, kasutajaõigus, dokumendiversioon, keel või vajalik täpsus. Lase keerulisemaid paare hinnata kahel inimesel ja lahenda lahkarvamused enne lävendi valimist. Nii on olemas võrdlusalus vahemälu tegelikule otsusele, mitte ainult vektorite lähedusele. Päringulogist näidete valimisega seostub ka tootmislogil põhinev hindamiskomplekt.

Mängi päringud läbi saabumise järjekorras

Jaga logi varasemaks seadistusosaks ja hilisemaks kontrollosaks. Täida katses vahemälu ainult juba saabunud päringutega: hilisema küsimuse vastus ei tohi olla varasema jaoks ette teada. Hoia võrreldavate lahenduste puhul sama päringujada, mudel, vastuste versioon, aegumisaeg, mahupiir ja kulude arvestus. Muidu võib erinevus tulla vahemälu seadistusest või koormusest, mitte vaste leidmise viisist.

Proovi seadistusosas mitut sarnasuse lävendit. Salvesta iga päringu juures leitud kandidaat, selle skoor, tehtud otsus ja inimese märgend; seejärel mõõda valitud lävendeid hilisemas kontrollosas. Lõdvem lävend võib lasta vahemälul rohkem mudelikutseid vältida, ent suurendada sobimatute vastuste hulka. Lävendit tuleb võrrelda sama vahemälu täitmise ja asendusreegli juures, sest ka need muudavad seda, milline kandidaat üldse leitakse.

Semantilise vahemälu asendusreeglite võrdlus kasutas üheksat andmestikku ja neist igaühe esimesi kuni 100 000 kirjet, Natural Questionsi puhul 91 000 kirjet; asendusreeglite tulemused erinesid koormuste vahel. Selles katses tähendas „semantiline täpsus” tabamuste keskmist vektorikaugust. See ei ole sama mõõdik mis inimese hinnang sellele, kas salvestatud vastus on eestikeelse teenuse uuele päringule õige.

Näita tabamuste kõrval valede vastete määra

Jaga kontrollosa päringud täpseteks tabamusteks, sobivateks semantilisteks tabamusteks, sobimatuteks semantilisteks tabamusteks ja möödaläinud päringuteks. Kogu tabamusmäär on kõigi vahemälust teenindatud päringute arv jagatud kõigi päringute arvuga. Kasulike tabamuste määr jätab lugejasse ainult sobivad vastused. Need kaks arvu võivad erineda just seal, kus lõdvem lävend näib esmapilgul kõige tulusam.

Esita valede vastete osakaal kahe nimetajaga: sobimatud vastused jagatud kõigi vahemälust teenindatud päringutega ning sobimatud vastused jagatud kõigi kontrollosa päringutega. Esimene kirjeldab tabamuse usaldusväärsust, teine vea ulatust kogu teenuses. Märgi ka sobivad päringupaarid, mida vahemälu ei leidnud. Need näitavad kasutamata säästuvõimalust, kuid nende mõju vastuse õigsusele erineb valest tabamusest.

Jaota tulemused vastuse liigi järgi. Üldise tootekirjelduse, muutuva tagastustingimuse ja kontopõhise vastuse eksimuse tagajärg võib olla erinev. Näita iga rühma märgendatud päringute arvu, sest väikese valimi protsent võib palju kõikuda. Kui kõiki tabamusi ei jõua hinnata, vali hindamiseks juhuslikke näiteid igast lävendist ja päringurühmast; ainult kõige ilmsemate vastete märgendamine annaks liiga soodsa pildi.

Arvuta netosääst ja mõõda kogu ooteaeg

Rahaline lähtepunkt on sama kontrollkoormuse mudelikulu ilma vahemäluta. Võrdle seda tegelike mudelikutsete ning vahemälu kulude summaga: päringute vektoriseerimine, otsing, salvestamine, käitamine ja sobimatute vastuste parandamine. Netosääst on lähtekulu miinus see summa. Näita välditud mudelikutsete väärtust eraldi, et seda ei peetaks ekslikult lõplikuks kasumiks. Täpse vahemälu arvutuses kasuta selle enda kulusid, mitte semantilise variandi vektoriseerimiskulu.

Kui vale vastuse rahalist hinda ei saa usaldusväärselt määrata, arvuta murdepunkt. Jaga pärast vahemälu otseseid kulusid alles jääv sääst valede vastete arvuga: saad summa, mille ületamisel üks keskmine vale vaste kaotaks selle säästu. Kui sobimatuid tabamusi pole märgendatud kontrollosas leitud, ära tõlgenda seda tõendina, et nende hind või risk on null. Kirjelda siis valimi suurust ja rakenda vastuse kvaliteedile eraldi piir.

Mõõda ooteaega kasutaja päringu algusest vastuse saamiseni ning näita mediaani ja 95. protsentiili. Hoia eraldi õiged tabamused, valed tabamused ja möödaläinud päringud. Vahemäluotsing võtab aega ka siis, kui sellele järgneb mudelikutsung, seega ainult tabamuse kiirus ei kirjelda kogu teenust. Kui ooteaeg või kulu on tuletatud varasematest logidest, märgi tulemus hinnanguks ning mõõda valitud seadistust enne laialdast kasutust piiratud tegeliku liiklusega.

Vali lahendus lubatava vea järgi

Redis LangCache’i dokumentatsioon kirjeldab sarnasuse lävendit valikuna suurema tabamusmäära ja suurema vale vaste riski vahel. Võrdle seetõttu lävendeid korraga sobivate tabamuste, vigade, netokulu ja ooteaja järgi. Kui täpne vahemälu annab suure osa säästust lubatava kvaliteediga, ei pruugi semantilise otsingu lisakulu end ära tasuda. Semantiline variant sobib siis, kui selle lisasääst püsib ka veakulu arvestades; kui kumbki lahendus ei paranda tulemust, on võrdlusaluseks vahemäluta teenus.

Valitud lävend kehtib mõõdetud päringute ja vastuste tingimustes. Kui küsimuste jaotus või vastuste aluseks olev teave muutub, märgenda uusi paare ning arvuta samad määrad uuesti. Keel, konto, dokumendiversioon ja muud vastust määravad tunnused tuleb võimaluse korral eraldada juba enne sarnasuse võrdlust: kõrge skoor ei saa muuta sobivaks vastust, mis pärineb teise kasutaja või aegunud tingimuste jaoks.

Loe ka: