Оценявайте RAG на две места — верният отговор може да крие слабо извличане

Оценявайте RAG система в две отделни проверки: дали търсенето е подало нужните пасажи и дали отговорът е опрян на тях и отговаря на въпроса. Първичната публикация за Ragas разглежда намирането на релевантен контекст, вярното му използване и качеството на генерирания отговор като различни измерения. Затова верен краен факт сам по себе си не доказва, че системата е извлякла правилния документ.

За повторяем тест подгответе означени въпроси с очакван отговор и опорни пасажи. При всяко изпълнение запазвайте подредения списък с извлечени пасажи, контекста, действително подаден на модела, и крайния му отговор. Измервайте извличането чрез context precision и context recall, а генерирането — чрез faithfulness и response relevancy; преглеждайте и конкретните провали зад оценките.

Съставете малък, но разнообразен тестов набор

Като начален вътрешен вариант малък екип може да означи 40 въпроса: по 10 с отговор в един пасаж, с отговор в няколко пасажа, с близки версии на документ и без достатъчна информация в корпуса. Това е предложена организация на теста, а не установен стандарт. Включете реалистични формулировки на български и запазете въпроси, по които предишна версия вече е грешила.

За всеки въпрос запишете еталонен отговор или очакван отказ, задължителните факти, идентификаторите на опорните пасажи и версията на корпуса. Ако два документа заедно дават отговора, означете и двата; иначе тестът може погрешно да приеме непълно извличане за достатъчно. При промяна на документа прегледайте еталона, преди да сравнявате следващите резултати със старите.

Условен пример: действаща процедура посочва срок от 14 дни, а стара нейна версия — друг срок. Ако системата върне „14 дни“, но е извлякла само стария текст, крайният факт съвпада с еталона случайно от гледна точка на този тест. Записът трябва да отчете липсващия действащ пасаж и да отбележи, че отговорът няма опора в подадения контекст.

Измерете какво е намерено и в какъв ред

Context precision оценява доколко релевантните пасажи са поставени пред нерелевантните. Описанието на context precision в Ragas отчита точността по позиции в подредения списък. Затова запазвайте реда и броя на пасажите, достигнали до генератора: полезен фрагмент на първо място и същият фрагмент след неподходящи резултати не са еднакво добро извличане.

Context recall проверява дали намереният контекст покрива необходимата информация. Според дефиницията на Ragas за context recall оценката изисква еталон; при оценяване с езиков модел се проверява кои твърдения от еталонния отговор се подкрепят от извлечения контекст. Ако въпросът изисква условия от два пасажа, намирането само на единия оставя извличането непълно, колкото и убедително да звучи крайният текст.

Двете оценки насочват към различни проблеми. Добро покритие с ниска precision означава, че нужната информация присъства, но е смесена с неподходящи пасажи или е подредена слабо; ниска recall насочва към липсващ факт, пропуснат документ или неподходящо разделяне на текста. Проверете отделните попадения, преди да променяте търсачката или инструкциите към модела. За въпросите без отговор в корпуса отбелязвайте дали търсенето е подало подвеждащ текст, вместо да прилагате механично метрика, която изисква еталонни твърдения.

Проверете опората и полезността на отговора

Списъкът с RAG метрики на Ragas включва faithfulness и response relevancy наред с показателите за извличане. Първата проверка пита дали фактическите твърдения в отговора следват от подадените пасажи; втората — дали отговорът съответства на зададения въпрос. Отговорът може да е по темата, но да съдържа непроверимо твърдение, или да е подкрепен от пасаж, който не решава цялата задача.

При ръчен преглед разделете отговора на проверими твърдения и посочете пасажа зад всяко. Отбележете липсваща или само частична опора, дори когато формулировката съвпада с еталона. Отделно вижте дали са покрити всички задължителни части на въпроса, дали е използвана действащата версия на документа и дали системата се въздържа от фактическо твърдение при липса на информация.

Диагнозата определя и къде да се търси поправката. Ако необходимият пасаж е подаден, но моделът го тълкува погрешно, проблемът е в генерирането; ако пасажът липсва, редакция на крайния текст няма да подобри извличането. Разликата е особено видима при избор на грешния документ, когато убедителният отговор може да отклони вниманието от подадения контекст.

Превърнете резултатите в условие за пускане

Определете критериите преди теста и сравнявайте новата версия с последната приета върху един и същ набор, корпус и настройки. Разумно начално правило е да няма спад в оценките за извличане и генериране по важните групи въпроси, а всеки отговор с критичен факт да има установима опора. Това е вътрешно правило за решение, не универсален праг: допустимото отклонение зависи от задачата и последствията от грешка.

Пазете резултатите по групи, а не само общата средна стойност. Подобрение при простите въпроси може да съвпадне с влошаване при сменени документи или при случаи без отговор. Преглеждайте всички нови регресии и извадка от високо оценените отговори; така ще уловите и ситуации, в които автоматичната оценка пропуска слаба опора. При малък набор записът на конкретните грешки е толкова важен, колкото и промяната в средния резултат.

Сверете автоматичния оценител с човешки решения

Оценител, основан на езиков модел, може да приеме частична опора за достатъчна или да обърка близки версии на един документ. Изследването ARES използва човешки означени примери, за да ограничи ефекта от грешките на автоматичните оценители. За собствен набор на български сравнете автоматичните преценки с ръчни решения, преди резултатът да стане условие за пускане.

Записвайте защо човекът и оценителят не са съгласни: пропуснат релевантен пасаж, приет неподходящ пасаж, частично подкрепено твърдение или основателен отказ, отчетен като непълен отговор. Ако промените правилата за означаване или оценителя, преизчислете и последната приета версия по същия начин. Иначе разликата между двете изпълнения може да идва от начина на оценяване, а не от RAG системата.

Прочетете също:

• RAG може да звучи вярно и пак да търси грешния документ
• Typeform или Jotform: броят отговори не е единственият скрит лимит
• AI пилотът може да спести време и пак да се провали — измерете риска