RAG eða fínstilling: fersk þekking og hegðun krefjast ólíkra lausna

Ef mállíkan á að svara út frá skjölum fyrirtækis sem breytast, er RAG eðlilegur upphafspunktur: það sækir viðeigandi heimildir þegar spurt er. Ef skjölin eru tiltæk en líkanið fylgir illa föstu sniði, stíl eða afmörkuðu verkefni kemur fínstilling frekar til greina. Leiðbeiningar Microsoft Foundry greina á sama hátt á milli aðgangs að breytilegum gögnum og breytinga á hegðun líkans.

Þetta er líka lykillinn að viðráðanlegum kostnaði. Það borgar sig sjaldan að þjálfa líkan upp á nýtt í hvert sinn sem þjónustuskilmálar breytast; á hinn bóginn þarf ekki að byggja leitarkerfi eingöngu til að fá sama úttakssnið í endurteknum verkefnum. Fyrst þarf að finna hvort upplýsingarnar sem svarið byggist á eða vinnubrögð líkansins séu raunverulegi vandinn.

Breytileg skjöl kalla á leit og rekjanleg svör

RAG tengir leit við myndun svars. Kerfið finnur viðeigandi kafla í skjalasafni, setur þá með spurningunni í samhengi líkansins og getur birt tilvísun í upprunann. Uppfærsla á skjali getur því haft áhrif á næstu svör þegar nýja útgáfan er komin í leitarsafnið. Fínstilling byggir hins vegar á þjálfunardæmum og gefur ekki sjálfkrafa leið til að opna gildandi ákvæði.

Samanburður AWS mælir með RAG sem upphafsleið fyrir spurningar úr eigin skjölum með heimildatilvísunum; þar segir einnig að ný skjöl geti komist inn á nokkrum mínútum en fínstilling tekið klukkustundir eða daga eftir stærð líkans. Þetta eru lýsingar á mögulegum verkferlum, ekki loforð um uppfærsluhraða sérhvers kerfis. Hversu fljótt ný regla birtist í svari ræðst meðal annars af innlestri, vísun og gæðum leitarinnar.

Tilvísun er gagnleg þegar starfsmaður þarf að sjá nákvæmlega hvaða útgáfa reglu gildir. Hún verður þó ekki áreiðanleg fyrir það eitt að nota RAG: kerfið þarf að varðveita tengsl textabrots við skjal og útgáfu, og svarið þarf að vísa í það brot sem raunverulega var notað. Ef leitin skilar gömlu skjali eða sleppir undantekningu getur málfræðilega sannfærandi svar samt verið rangt.

Fínstilling á við þegar verkið sjálft er stöðugt

Fínstilling er þjálfun á dæmum sem sýna hvernig líkanið á að bregðast við ákveðnu inntaki. Hún getur hentað við flokkun, útdrátt í tiltekin upplýsingasvið eða texta með ákveðnum tón. Yfirlit Google Cloud nefnir pör af inntaki og æskilegu úttaki fyrir skilgreind verkefni og lýsir jafnframt því að leit og fínstillingu megi beita saman.

Það sem þjálfunardæmin þurfa að sýna er æskilegt mynstur, ekki síbreytileg handbók. Vel unnin dæmi geta kennt líkaninu hvernig beiðni er flokkuð eða hvaða upplýsingar eiga heima í svari. Þegar staðreynd í handbókinni breytist þarf hins vegar ný gögn, nýja þjálfun og mat á útkomu ef treysta á að líkanið muni hana. Sú leið leggur uppfærslukostnað á hvert nýtt efnisatriði.

Áður en fínstilling er valin er skynsamlegt að athuga hvort skýr fyrirmæli og nokkur dæmi í beiðninni dugi. Ef verkefnið er einfalt og sjaldgæft getur sú leið verið viðráðanlegri en þjálfun, dreifing og eftirlit með sérútgáfu líkans. Ef sama verkefni er unnið ítrekað og úttakið helst óstöðugt þrátt fyrir góð fyrirmæli, verður fínstilling raunhæfari kostur. Árangurinn þarf að koma fram í svörum við dæmigerðum verkefnum fyrirtækisins.

Sama íslenska skjalasafnið, tvö vandamál

Hugsum okkur ímyndað íslenskt þjónustufyrirtæki sem geymir verklagsreglur, þjónustuskilmála og samþykkt dæmi um svör. Starfsmaður spyr hvaða regla gildi um tiltekna beiðni og þarf að opna ákvæðið á bak við svarið. Þá ætti leit að finna gildandi útgáfu skilmálanna og senda viðeigandi kafla til líkansins. Þegar skilmálarnir breytast er skjalasafnið uppfært, en hegðun líkansins þarf ekki að þjálfa upp á nýtt.

Hitt verkefnið gæti verið að breyta hverri innsendri beiðni í stutta samantekt með sömu upplýsingasviðum. Þar er óstöðugt snið vandamál þótt réttu skjölin finnist. Fyrirtækið gæti byrjað á skýrum fyrirmælum og dæmum um rétta samantekt; ef þau duga ekki geta merkt pör af beiðnum og réttum úttökum nýst við fínstillingu. Dæmin kenna vinnulagið en skilmálarnir eru áfram sóttir þegar þarf að vita hvað gildir.

Leitin hentar ekki sjálfkrafa hverju skjalaverkefni. Ef svarið krefst þess að bera saman marga kafla eða draga saman heila langa skýrslu geta fá valin textabrot misst mikilvægt samhengi. Þá þarf að breyta úrvinnslunni, til dæmis með fleiri köflum eða vinnslu alls skjalsins í áföngum. Fínstilling ein og sér bætir ekki úr því þegar nauðsynlegir hlutar skjalsins vantar í beiðnina.

Kostnaðurinn færist á mismunandi staði

RAG sparar endurþjálfun vegna skjalabreytinga en bætir við innlestri, leit og eftirliti með skjalasafni. Lýsing AWS á rekstri RAG-kerfa telur meðal annars upp tengingar við gagnasöfn, úrvinnslu skjala, leitarvísun, endurheimt efnis og aðgangsstýringu. Þessi vinna verður sýnileg þegar gögnin eru á mörgum stöðum, breytast reglulega eða mismunandi starfsmenn mega sjá mismunandi skjöl.

Fínstilling flytur kostnaðinn að gerð og yfirferð dæma, þjálfun, mati og viðhaldi sérútgáfu líkansins. Hún getur minnkað þörfina fyrir löng fyrirmæli í endurteknum beiðnum, en slíkur sparnaður skiptir aðeins máli ef nægilega margar beiðnir og mælanleg gæðabót vega upp þjálfun og rekstur. Fyrir lítið teymi er því skynsamlegra að bera saman alla vinnu á líftíma lausnarinnar en verð einnar fyrirspurnar.

Aðgangsstýring ræður einnig valinu. Þegar skjöl hafa ólíkar heimildir þarf leitin að takmarka hvaða efni hver notandi fær í svari; það er sérstakt rekstrarverkefni, ekki eiginleiki sem kemur sjálfkrafa með mállíkaninu. Þjálfun á sameinuðu skjalasafni gefur ekki sömu stjórn á því hvaða gildandi heimild lá að baki einstöku svari.

Þegar heimildir og hegðun þurfa báðar að standast kröfur

Leiðirnar geta verið í sömu lausn: RAG sækir gildandi ákvæði og fínstillt líkan vinnur úr þeim samkvæmt stöðugu verkefnissniði. Í dæminu um þjónustufyrirtækið gæti leit veitt regluna og þjálfunardæmi mótað hvernig beiðni er flokkuð og samantekt sett fram. Þessi samsetning er réttlætanleg þegar hvor þáttur leysir skýrt afmarkað vandamál; annars bætist við rekstur tveggja kerfa án sýnilegs ávinnings.

Ákvörðunin má rekja til fjögurra spurninga: Hversu oft breytast staðreyndirnar? Þarf starfsmaður að opna heimildina? Er vandinn skortur á efni eða óstöðug framkvæmd sama verkefnis? Hver getur haldið skjalaleit og þjálfunardæmum í lagi? Tíð uppfærsla og tilvísanir benda að leit; endurtekið sérverkefni með stöðugu æskilegu úttaki getur réttlætt fínstillingu. Þegar báðar þarfir eru fyrir hendi fær hvort gagnasafn sitt hlutverk: gildandi skjöl veita efnið, vönduð dæmi móta hegðunina.

Lestu einnig:

• Gumroad eða Lemon Squeezy: 10% á móti 5% breytir hverri sölu
• Notion eða Confluence: sveigjanleiki kostar þegar þekkingin stækkar
• Asana eða monday.com: einfaldari verkefni mæta sveigjanlegri töflum