RAG нема универзалну величину исечка — 64 и 1.024 токена могу бити тачни

За избор величине RAG исечка крените од питања и докумената које ће систем заиста користити. Анализа величина од 64 до 1.024 токена показала је да краћи исечци могу боље проналазити сажете чињеничне одговоре, док дужи помажу када је потребан шири контекст. То су кандидати за тест, а не готова поставка за сваки корпус.

Означите текст који поткрепљује свако пробно питање, испробајте више величина уз исти број враћених сегмената и измерите да ли је доказ пронађен. Затим над најбољим конфигурацијама проверите коначан одговор помоћу истог генератора: пронађен исечак може садржати тему питања, а ипак изоставити услов потребан за потпун одговор.

Означите где се налази одговор

Саставите узорак стварних корисничких питања или питања која одговарају намени производа. За свако забележите прихватљив одговор, изворни документ и тачан распон текста који га поткрепљује. Ако одговор захтева више одвојених места, означите сва: проналажење само једног пасуса тада није потпун погодак.

Положај доказа чувајте у изворном документу, а не само као идентификатор већ направљеног исечка. Променом величине мењају се границе и идентификатори, док означени распон остаје упоредива основа. Раздвојте питања чији одговор лежи у једној реченици, у повезаном пасусу и на више удаљених места. Јединствен просек може сакрити да поставка добро решава једну групу, а промашује другу.

На пример, у условном корпусу један датум може стајати у краткој реченици, док одговор о правилу и његовом изузетку тражи два одељка. Означавање треба да прати смисао одговора: понављање речи из питања у враћеном тексту није довољан доказ.

Ускладите границе са грађом документа

Номинална дужина није једина особина исечка: важно је и где се текст прекида. У поређењу реченица, пасуса и поглавља пасуси су имали најбољи просечан резултат проналажења у уџбенику математике, а реченице у наративном тексту. Зато пре подешавања погледајте да ли ваши документи држе појам, услов и објашњење у истој реченици, пасусу или широј целини.

За први круг одаберите једно правило сегментације и примените га на све пробне величине. Ако документи имају јасне наслове и пасусе, прекидајте на тим границама када је могуће, али задржите исто правило кроз поређење. Код табела и формула проверите да ли је граница одвојила вредност од назива, јединице или услова под којим важи. Промена правила граница заслужује засебан круг мерења.

Пре индексирања проверите и како токенизатор изабраног модела за векторизацију броји текст, као и његово ограничење улаза. Ако предугачак исечак буде одсечен пре израде вектора, не поредите дужине које сте задали већ различите стварне улазе у модел. У резултатима зато бележите и задату и стварну дужину исечака.

Мењајте једну променљиву у сваком кругу

За сваку величину поново поделите исти корпус, направите векторе истим моделом и покрените исти скуп питања. Задржите исто чишћење текста, правило преклапања, метод претраге и вредност top-k, односно број сегмената враћених за питање. Ако истовремено промените величину и top-k, разлику у резултату нећете моћи поуздано да припишете једној од тих одлука.

Преклапање исечака можете искључити у почетном кругу или га задржати на унапред одабраној вредности. Битно је да се правило не мења међу кандидатима. Забележите верзију корпуса, модел за векторизацију и подешавања претраге, како би се каснији резултат могао поновити над истим условима.

Фиксни top-k изолује поређење проналажења, али не изједначава количину текста коју добија генератор. Исти број великих исечака носи више улазних токена него исти број малих. Уз резултат зато бележите укупну дужину враћеног контекста, време обраде и трошак релевантан за ваш систем. Поређење под истим буџетом токена водите одвојено: у њему број враћених сегмената може намерно бити различит.

Измерите доказе, па коначан одговор

Recall@k показује да ли се означени доказ нашао међу првих k резултата. За питање са једним неопходним распоном исход је једноставан: доказ је пронађен или није. За питања са више неопходних распона бележите и удео покривених распона и то да ли су пронађени сви. Прикажите резултате по врсти питања, јер добар укупан резултат може прикрити слабост код одговора распоређених на више места.

Прегледајте промашаје који мењају избор величине. Утврдите да ли доказ уопште постоји у индексираном корпусу, да ли је сегментација раздвојила његове неопходне делове и да ли се исправан исечак појављује ниже у рангу. Дужи исечак може решити прекинуто објашњење; не може вратити документ који није у индексу.

На конфигурацијама које добро проналазе доказе покрените генерисање уз исто упутство и исти модел. Мајкрософтова упутства за процену RAG система раздвајају утемељеност одговора у враћеном контексту, потпуност и чињеничну тачност. Проверите све три особине на означеним питањима: добар резултат проналажења сам по себи не показује како је генератор употребио доказ.

Изаберите поставку према резултату и трошку

Одаберите најмању величину која испуњава ваше услове за покривеност доказа и квалитет одговора, уз прихватљиво време и трошак. Ако се резултати разликују по врсти питања, одмерите те групе према њиховом стварном уделу и важности у производу. Немојте дозволити да честе једноставне упите укупним просеком прекрију ретке, али важне упите којима недостаје део доказа.

Ако ниједан кандидат не задовољава услове, у следећем кругу промените само један други део система: правило граница, модел за векторизацију или top-k. Поновите иста питања и сачувајте претходни резултат као основу за поређење. Тако добијена величина остаје проверена поставка за конкретне документе, питања и ограничења система.

Прочитајте и:

• Дуг контекст или RAG: више токена не значи увек бољи одговор
• Asana или monday.com: празна места могу да поједу нижу цену
• Паушалац или књигаш: већи трошкови могу да појефтине други модел