RAG метрика може да завара: прецизност контекста није верност одговора

У RAG систему пратите одвојено прецизност контекста и верност одговора. Прва оцена говори да ли су релевантни одломци високо рангирани, а друга да ли тврдње у генерисаном одговору имају ослонац у контексту који је модел добио. Добро рангирање зато не гарантује веран одговор.

Када одговор разочара, упоредите обе оцене на истом питању, уз сачуване одломке и сам одговор. Ниска прецизност упућује на претрагу или рангирање; ниска верност на тврдње које контекст не подржава. Један укупан скор спаја та два различита квара и не показује коју компоненту прво треба испитати.

Шта свака оцена заиста мери

Ragas документација прецизности контекста дефинише ову метрику преко положаја релевантних одломака у рангираној листи: бољи резултат значи да се појављују испред нерелевантних. У варијанти са референтним одговором оцењивач пореди сваки одломак с том референцом. У варијанти без ње пореди одломке са генерисаним одговором, па оцена претраге тада зависи и од онога што је модел написао.

Ragas дефиниција верности полази од појединачних тврдњи у одговору и проверава да ли се свака може извести из пронађеног контекста. Верност тиме мери ослоњеност одговора на достављене одломке, а не његову потпуност или тачност у односу на спољни свет. Модел може верно пренети застарео одломак који је претрага погрешно изабрала.

И прецизност има уску границу: када је користан одломак на врху листе, нерелевантан одломак иза њега не мора да снизи оцену. Зато при тумачењу резултата треба знати који су делови листе заиста ушли у контекст модела. Ако је систем одсекао неопходан пасус, проблем се види у коначном контексту, чак и када је тај пасус постојао међу првобитно пронађеним резултатима.

Припремите пример који раздваја претрагу од генерисања

За свако тест питање сачувајте редослед пронађених одломака, контекст који је модел стварно примио и генерисани одговор. Где је могуће, додајте проверен референтни одговор и одломке који га подржавају. Тако се може разликовати случај у ком претрага није нашла доказ од случаја у ком је доказ стигао до модела, али га је он погрешно искористио.

Референтни примери морају да одговарају верзији базе знања коју систем претражује. Ако референца тражи податак који је у међувремену промењен, релевантан нови одломак може изгледати као промашај. Укључите и питања за која у бази нема довољно података: ту је важно видети да ли модел јасно признаје ограничење или додаје непоткрепљен одговор.

Одговор посматрајте на нивоу проверљивих тврдњи. Условно, ако одломак наводи само рок за пријаву, а одговор уз рок дода и услове за пријаву којих у контексту нема, проблем верности лежи у додатим условима. Оцена целог одговора лако би сакрила ту разлику између поткрепљеног и непоткрепљеног дела.

Дијагностичка матрица: шта прво проверити

„Високо” и „ниско” овде означавају резултат у односу на праг који је тим одредио за свој скуп питања. Матрица показује прву проверу, а не аутоматску пресуду: нарочито код прецизности без референтног одговора, грешка у генерацији може утицати и на оцену одломака.

• Висока прецизност, висока верност. Релевантни одломци су добро постављени, а изречене тврдње су њима поткрепљене. Прво проверите потпуност одговора према питању и референци: модел може верно одговорити само на један део сложеног захтева. Ако недостаје податак који се налази у бази, испитајте да ли су пронађени сви потребни одломци.
• Висока прецизност, ниска верност. Нађите конкретну тврдњу без потпоре и упоредите је са контекстом који је стигао до модела. Ако је потребан доказ тамо присутан, прво испитајте промпт и понашање модела при састављању одговора. Посебно погледајте да ли је модел спојио делове различитих одломака у нову тврдњу коју ниједан од њих не подржава.
• Ниска прецизност, висока верност. Прво прегледајте рангирање: модел можда верно преноси садржај одломка који није добар одговор на питање. Затим проверите референтни пример, јер непотпуна или застарела референца може оборити оцену ваљаног одломка. Ако је прецизност израчуната без референце, ручно упоредите одломке са питањем, пошто та варијанта користи генерисани одговор за процену релевантности.
• Ниска прецизност, ниска верност. Почните од претраге: утврдите да ли доказ уопште постоји у бази и да ли је довољно високо рангиран да стигне до модела. Потом поновите исто питање са ручно одабраним релевантним контекстом. Ако одговор и тада садржи неподржане тврдње, испитајте промпт и модел; ако се поправи, првенство имају избор и рангирање одломака.

Када аутоматска оцена захтева ближи преглед

Аутоматски оцењивач може погрешити већ при издвајању тврдњи. Истраживање ASTRID описује како у клиничким разговорима разлагање одговора на тврдње може да изгуби важну нијансу или да разговорне реченице третира као непоткрепљене чињенице. Рад користи сопствене мере релевантности контекста и разговорне верности; његови налази нису мерило тачности сваког RAG оцењивача.

Када оцена делује спорно, упоредите одбачену тврдњу са тачним одломком и забележите зашто је људска процена другачија. Затим мењајте једну компоненту по једну: на истом питању и истом моделу промена претраге треба да поправи избор одломака, док се ефекат промене промпта или модела види на истом достављеном контексту. Такво раздвајање даје употребљивију дијагнозу од померања једног збирног скора.

Прочитајте и:

• AI детектор није доказ: један проценат грешке може да оптужи човека
• Дуг контекст или RAG: више токена не значи увек бољи одговор
• Ollama или LM Studio: бржи одговор није и већа пропусност