RAG vagy finomhangolás: a változó tudást nem érdemes a modellbe égetni

Ha a válaszok alapjául szolgáló dokumentumok gyakran változnak, általában RAG-ot érdemes választani: a rendszer a kérdés megválaszolásakor keresi elő az aktuális tartalmat. Ha a modellnek következetes stílust, kimeneti formátumot vagy feladatvégzési mintát kell elsajátítania, a finomhangolás lehet célravezető. A Microsoft Foundry útmutatója is a változó tudáshoz a visszakeresést, a viselkedés alakításához a finomhangolást különíti el.

A két igény egyszerre is jelentkezhet. Egy válasz támaszkodhat friss forrásra, mégis megsértheti az előírt formátumot; egy szépen szerkesztett válasz pedig épülhet elavult információra. A döntő kérdés ezért az, hogy a hibás válaszból a megfelelő tény hiányzik-e, vagy a modell a rendelkezésére álló tényt sem használja a kívánt módon.

Változó dokumentumokhoz a visszakeresés illik

A RAG a forrásdokumentumokat a modellen kívüli, kereshető gyűjteményben tartja. A rendszer a kérdéshez kapcsolódó részleteket a modell bemenetéhez adja, így a válasz ezekre támaszkodhat. Ha egy belső szabályzat vagy termékleírás módosul, a dokumentumot és szükség esetén a keresőindexet kell frissíteni. A modell súlyainak újratanítása nem része ennek a frissítésnek.

Ez a felépítés akkor is előnyös, ha a felhasználónak látnia kell, melyik dokumentumból származik egy állítás. Az AWS összehasonlítása szerint a RAG lehetővé teszi a forrás megjelölését, míg a pusztán finomhangolt modell válasza nem ad automatikusan hivatkozást a tanítóanyag eredeti helyére. A visszakeresett részlet azonosítóját és elérhetőségét ezért a rendszernek meg kell őriznie a válaszig. A hivatkozás önmagában nem bizonyítja, hogy a modell helyesen értelmezte a részletet.

A dokumentumtár működtetése külön munkát jelent. A fájlokból ki kell nyerni a használható szöveget, kereshető részeket kell képezni, és kezelni kell a verziókat meg a hozzáférési jogosultságokat. Egy rosszul felosztott szabályzatból a kereső éppen azt a kivételt hagyhatja ki, amely megváltoztatná a választ. A lekérdezésenkénti keresés és a modellnek átadott hosszabb szöveg a válaszidőt és a költséget is növelheti.

Következetes viselkedéshez a finomhangolás segíthet

A finomhangolás példákon végzett további tanítással módosítja a modell paramétereit. Akkor lehet hasznos, ha sokféle bemenetből ugyanazt a szerkezetű kimenetet kell előállítania, következetes besorolási szabályt kell alkalmaznia, vagy jól körülírt szerkesztési stílust kell tartania. Az OpenAI pontosságoptimalizálási útmutatója a hiányzó kontextust elkülöníti az ingadozó formátum, stílus és feladatvégzés problémájától, és a tanítópéldáktól független értékelést javasol.

A jó tanítópélda nem egyszerűen egy helyes mondat. A bemenetnek hasonlítania kell a tényleges használat során érkező kérdésekre, a válasznak pedig világosan meg kell mutatnia a kívánt döntést vagy formátumot. Ha a példák egymásnak ellentmondó szabályokat követnek, a modell bizonytalan mintát tanul. Ha egy ügyfélszolgálati asszisztens később visszakeresett forrásrészletekkel dolgozik, a tanítópéldákban is érdemes ilyen részleteket szerepeltetni.

Gyorsan változó tényeknél a finomhangolás fenntartása nehézkes. Egy ár vagy szerződési feltétel módosítása nem írja át a korábban betanult paramétereket; új tanítóadat és új tanítási ciklus válhat szükségessé. A modell ráadásul nem feltétlenül idézi fel megbízhatóan a példákba foglalt konkrét tényeket. A tartós válaszadási minta és az aktuális állítás ezért külön kezelhető feladat.

Öt szempont, amely megváltoztathatja a döntést

Ugyanarra a feladatra más megoldás lehet kedvező attól függően, milyen gyorsan avulnak el a források, milyen bizonyítékot vár a felhasználó, és hol jelentkezik a hiba. Ezeket a követelményeket az alkalmazás teljes működésére érdemes megfogalmazni.

• A tudás frissülése: Gyakran módosuló árakhoz, feltételekhez vagy termékinformációhoz a kereshető forrásgyűjtemény illik. Tartós feladatmintát a finomhangolás taníthat meg; az aktuális tények karbantartását ez nem helyettesíti.
• Forráshivatkozás: Ha a felhasználónak vissza kell jutnia a hatályos dokumentumhoz, a RAG-nál a talált részlet és annak azonosítója a válasz része lehet. A hivatkozás helyességét külön ellenőrizni kell.
• Késleltetés: A RAG keresési műveletet és gyakran több bemeneti szöveget ad a kéréshez. A finomhangolás csökkentheti az ismételt utasítások igényét, de a tényleges válaszidő a modelltől és a teljes kiszolgálási folyamattól függ.
• Adat-előkészítés: A RAG jól tagolt, naprakészen tartott és megfelelő jogosultságokkal ellátott dokumentumokat kíván. A finomhangolás reprezentatív, ellenőrzött bemenet–kimenet párokat és elkülönített tesztadatot igényel.
• Viselkedési következetesség: Ha a megfelelő forrásrészlet már a modell előtt van, de a válasz szerkezete vagy a döntési szabály továbbra is ingadozik, további dokumentumok helyett a modell viselkedésének javítását érdemes vizsgálni.

Mikor indokolt a két módszer együtt?

A hibrid felépítés akkor lehet indokolt, ha a válasznak egyszerre kell követnie változó forrásokat és egy szigorú feldolgozási mintát. Feltételes példa egy terméktámogatási asszisztens: a hatályos feltételeket kereséssel kapja meg, míg a finomhangolás azt tanítja, hogyan szerkesszen választ és hogyan kezelje a hiányzó adatot. A dokumentumok frissíthetők a válaszminta újratanítása nélkül, de a két elem közös működését külön értékelni kell.

Egy agrárszakmai kutatás washingtoni adatokon végzett, GPT-4 által pontozott értékelésében a RAG-gal kiegészített GPT-4 80%-os, a finomhangolt GPT-4 és RAG együtt 86%-os eredményt kapott. Ez az adott kérdésekre és értékelési módszerre vonatkozó különbség, nem általános teljesítményígéret. A pontozás azt vizsgálta, hogy a válasz megfelel-e a kérdéshez készített értékelési szempontoknak; egy másik feladatnál a hibrid rendszer hasznát ottani kérdésekkel kell mérni.

A közös rendszerben a kétféle adatnak más a szerepe. A tanítópéldák a kívánt válaszadási eljárást mutatják meg, lehetőleg a várható forrásrészletekhez hasonló bemenettel. A dokumentumtárban a változó állítások, verziók és forrásazonosítók maradnak. Így egy frissített dokumentum miatt nem kell automatikusan új tanítási ciklust indítani, egy módosuló válaszadási szabály viszont továbbra is igényelhet új példákat és értékelést.

A választást a hiba típusa és a teljes rendszer mérése dönti el

Az alapmodellt, a RAG-ot, a finomhangolt modellt és szükség esetén a hibrid változatot ugyanazokkal a feladatot képviselő kérdésekkel érdemes összevetni. A tesztkérdések legyenek elkülönítve a tanítópéldáktól. Kerüljenek közéjük módosított dokumentumokra vonatkozó kérdések, hiányzó forrás esetén tartózkodást igénylő helyzetek és olyan bemenetek is, amelyeknél a kimeneti szabály betartása döntő.

Egyetlen összesített pontszám elfedheti, hol keletkezik a hiba. Külön mérhető, hogy a kereső megtalálja-e a megfelelő részletet, a válasz tényei követik-e azt, a hivatkozás a helyes dokumentumra mutat-e, és teljesül-e az előírt formátum. Ugyanezen kérdések mellett a teljes válaszidő és a bemeneti szöveg feldolgozási költsége is összevethető. Ha a keresés jó forrást ad, de a modell rendszeresen rosszul alkalmazza a feladatszabályt, a finomhangolás célzottan erre a hibára adhat választ.