RAG skaidinių dydis: daugiau konteksto gali įnešti daugiau triukšmo

Vieno visiems RAG dokumentams tinkamo skaidinio dydžio nėra: jį reikia rinktis pagal dokumentų sandarą, klausimų pobūdį ir leidžiamas sąnaudas. Trumpa ištrauka gali padėti tiksliai surasti faktą, tačiau palikti už ribos būtiną sąlygą; ilgesnė išsaugo aplinkinį kontekstą, bet gali pridėti nesusijusio teksto ir didinti apdorojimo kainą. Matematikos vadovėlio ir pasakojamojo teksto bandyme geriausią paieškos rezultatą davė skirtingos ribos: pirmajame – pastraipos, antrajame – sakiniai.

Praktiškas pasirinkimas yra skaidinio dydžio ir grąžinamų fragmentų skaičiaus derinys, kuris jūsų klausimų rinkinyje dažniausiai randa pakankamą pagrindą atsakymui ir telpa į delsos bei kainos ribas. Paieškos sėkmę, atsakymo teisingumą ir jo pagrįstumą reikia vertinti atskirai. Teisingas sakinys paieškos rezultate dar nereiškia, kad modelis gavo visą informaciją išimčiai ar kontekstui suprasti.

Kur atsiranda konteksto ir triukšmo kompromisas

Skaidinys yra paieškos vienetas, o atsakymą modelis kuria iš visų jam perduotų skaidinių. Jeigu klausiama vienos apibrėžties, nedidelė atkarpa leidžia paieškai iškelti ją be gretimų temų. Jeigu atsakymas priklauso nuo sąlygos kitoje pastraipoje, ta pati atkarpa gali atrodyti labai tinkama pagal panašumą į klausimą, bet nuvesti prie klaidingos išvados.

Didesniame skaidinyje gali tilpti visas argumentas ar taisyklė su išimtimi. Tačiau kartu su naudingu sakiniu į paieškos indeksą ir modelio kontekstą patenka kitos temos; vieno skaidinio atitikties įvertis tuomet apibūdina platesnį, mišrų tekstą. Bendrą perduodamo teksto kiekį lemia ir grąžinamų skaidinių skaičius. Vienas ilgas bei keli trumpi fragmentai gali sunaudoti panašų žetonų biudžetą, nors modelis matys skirtingas dokumento vietas.

Nuo kokios ribos pradėti bandymą

Prieš parenkant skaičių verta pasižiūrėti, kur dokumentuose baigiasi mintys: ar antraštė suteikia prasmę pastraipai, ar išimtis yra toliau už taisyklę, ar atsakymas išsidėstęs per kelias dalis. Griežta žetonų riba gali perskirti tokį ryšį. Skaidymas pagal pastraipas ar skyrius dažniau išlaiko teksto sandarą, tačiau sukuria nevienodo ilgio fragmentus, todėl reikia tikrinti ir jų tikrąjį ilgį modelio žetonais.

Azure AI Search dokumentacija siūlo bandymą pradėti nuo 512 žetonų skaidinio ir 25 % persidengimo, bet tinkamą persidengimą sieja su turinio tipu. Tai atspirties taškas, o ne visiems dokumentams nustatytas geriausias dydis. Persidengimas padeda neprarasti minties ties riba, tačiau kartoja tekstą indekse; tarp grąžintų rezultatų taip gali atsidurti beveik vienodos ištraukos.

Norint suprasti paties dydžio poveikį, pirmame bandyme reikia išlaikyti tą patį skaidymo būdą ir tą patį absoliutų persidengimą arba jo visai atsisakyti. Antraščių pridėjimą, persidengimo didinimą ir semantinį skaidymą galima lyginti vėliau, jau turint pradinį rezultatą. Keičiant kelis dalykus vienu metu, pagerėjimo nebebus galima aiškiai priskirti skaidinio ilgiui.

Kaip sudaryti palyginamą bandymo matricą

Imkite vieną nekintamą dokumentų rinkinį ir tuos pačius realius naudotojų klausimus. Jame turi būti klausimų apie vieną faktą, taisyklės išimtį ir informaciją, išdėstytą keliose dokumento vietose. Kiekvienam klausimui iš anksto pažymėkite atsakymą pagrindžiančią teksto atkarpą ir, jei reikia, sąlygą, be kurios atsakymas klaidintų. Taip paieškos kokybę galima vertinti pagal rastus įrodymus, o ne vien pagal paieškos sistemos panašumo balą.

Matricos viena ašis yra skaidinio dydis, kita – grąžinamų skaidinių skaičius. Tik kaip sąlyginį bandymo pavyzdį galima imti 256, 512 ir 1024 žetonų ribas, kiekvieną derinant su vienu, trimis ir penkiais grąžinamais skaidiniais. Taip gaunamos devynios konfigūracijos; šie skaičiai nėra rekomenduojami galutiniai nustatymai. Dydžio poveikį vertinkite lygindami derinius su vienodu grąžinamų skaidinių skaičiumi, o jų skaičiaus poveikį – su vienodu skaidinio dydžiu.

Visose konfigūracijose palikite tą patį išvalytą tekstą, įterpinių modelį, paieškos metodą, atsakymą kuriantį modelį, jo instrukciją ir klausimus. Kiekvienam dydžiui dokumentus suskaidykite ir indeksuokite iš naujo, nes keičiasi paieškos vienetai. Užrašykite ne tik nustatytą skaidinio ribą, bet ir tikrąjį modelio gautų žetonų kiekį: dėl trumpų pastraipų, dokumento pabaigų ir skirtingo grąžintų skaidinių skaičiaus jis gali gerokai skirtis.

Paieškos ir atsakymo kokybė matuojama skirtingai

Paieškoje pirmiausia skaičiuokite, kokiai daliai klausimų bent viename grąžintame skaidinyje atsirado pažymėta pagrindžianti atkarpa. Tada atskirai žiūrėkite, kiek gauto teksto susiję su klausimu, kiek jo kartojasi ir ar yra būtina išimtis. Ilgas skaidinys gali būti pažymėtas kaip tinkamas vien todėl, kad jame yra reikiamas sakinys, nors likusi jo dalis tik užima konteksto vietą.

Atsakymus vertinkite pagal faktinį teisingumą, atitiktį klausimui ir tai, ar esminiai teiginiai remiasi modelio gautomis ištraukomis. Automatinis vertinimas gali pagreitinti peržiūrą, tačiau ginčytinus ir dalį atsitiktinai atrinktų atsakymų verta tikrinti rankiniu būdu. Akademinių darbų skaidymo palyginime klasterinis semantinis būdas bandytomis sąlygomis nepranoko paprastesnių, o RAGAs pagrįstumo skaičiavimas nepavyko 44 % atvejų. Tai riboja būtent to bandymo automatinio balo patikimumą ir parodo, kodėl galutinį pasirinkimą verta sieti su pažymėtais įrodymais.

Kada papildomas kontekstas vertas kainos

Kiekvienam deriniui užrašykite užklausos delsą, atsakymo modeliui perduotų žetonų kiekį, indekso dydį ir indeksavimo sąnaudas. Trumpesni skaidiniai paprastai sukuria daugiau paieškos vienetų; ilgesni arba gausiau grąžinami didina vienos užklausos kontekstą. Šios išlaidos atsiranda skirtinguose darbo etapuose, todėl vien bendros sąskaitos nepakanka suprasti, kuris parametras ją keičia.

Sprendimą lemia iš anksto nusistatyta kokybės, delsos ir kainos riba, o ne aukščiausias vienas balas. Jei du deriniai vienodai dažnai randa pakankamą pagrindą ir duoda teisingus atsakymus, pigesnis bei greitesnis yra pagrįstas pasirinkimas. Jei trumpi skaidiniai nuolat pameta sąlygas, o ilgi atneša daug nesusijusio teksto, verta atskiru bandymu tikrinti dokumento struktūrą išsaugantį skaidymą arba persidengimą.

Taip pat skaitykite:

• „ChatGPT“ ar „Copilot“ programoje „Word“: laisvė prieš gilesnį kontekstą
• OBS ar Streamlabs: patogūs valdikliai gali kainuoti iki 28 % daugiau CPU
• „Gumroad“ ar „Sellfy“: daugiau pardavimų procentą paverčia brangiausiu planu