Ragas ja DeepEval: sama RAG-vastaus, eri arvio

Ragas ja DeepEval voivat antaa samalle RAG-vastaukselle erilaisen arvion, koska mittarit tarkastelevat eri ominaisuuksia ja voivat käyttää eri vertailukohtia. Valitse mittari sen mukaan, haluatko arvioida haettujen katkelmien järjestystä, vastauksen osuvuutta vai sitä, tukeutuvatko vastauksen väitteet haettuun aineistoon. Ragasin mittariluettelo sisältää näihin tarkoituksiin muun muassa Context Precision-, Context Recall-, Response Relevancy- ja Faithfulness-mittarit.

DeepEval jakaa RAG-arvioinnin samoin hakijan ja vastausta muodostavan mallin arviointiin. Sen RAG-pikaohjeessa vastaus ja haetut katkelmat liitetään testitapaukseen, joka voidaan ajaa myös pytest-testissä. Kummankaan kirjaston samannimistä pistettä ei silti pidä olettaa suoraan vertailukelpoiseksi: ensin on tarkistettava mittarin vaatimat syötteet ja se, mitä pisteen halutaan kertovan.

Haun järjestys, tiedon löytyminen ja vastauksen laatu ovat eri asioita

RAG-järjestelmä hakee kysymykseen liittyvää aineistoa ja muodostaa vastauksen sen pohjalta. Kontekstitarkkuus arvioi, sijoittuvatko hyödylliset katkelmat hakutulosten kärkeen. Kontekstipalautus kysyy, löytyikö vastaukseen tarvittava tieto ylipäätään. Nämä eivät ole sama kysymys: olennainen katkelma voi olla mukana, mutta vasta pitkän epäolennaisen katkelmajoukon jälkeen.

Vastausrelevanssi koskee tuotettua tekstiä: käsitteleekö se käyttäjän kysymystä? Uskollisuus eli faithfulness puolestaan koskee vastauksen ja haettujen katkelmien suhdetta. Vastaus voi pysyä aiheessa mutta esittää väitteen, jota katkelmat eivät tue. Se voi myös nojata uskollisesti saatavilla olevaan katkelmaan ja silti jättää kysymyksen kannalta olennaisen tiedon pois, jos haku ei tuonut sitä mallille.

Siksi yhden pisteluvun nousu ei yksin paikanna parannusta. Jos haku löytää aiempaa enemmän oikeaa tietoa mutta järjestää sen huonommin, palautus ja tarkkuus voivat kuvata muutosta eri tavoin. Jos haku pysyy samana mutta vastauksen muotoilu muuttuu, vastaukseen kohdistuvat mittarit voivat liikkua ilman muutosta hakijan laadussa. Kirjaston valintaa edeltää siis päätös siitä, mitä järjestelmän vaihetta on tarkoitus mitata.

Vertailuvastaus muuttaa kontekstitarkkuuden merkitystä

Ragasin Context Precision -määritelmässä vertailuvastaukseen perustuva mittari arvioi, auttavatko haetut katkelmat tavoitevastauksen tuottamisessa. Saman dokumentaation Context Utilization arvioi katkelmia suhteessa järjestelmän tuottamaan vastaukseen, kun vertailuvastausta ei ole. Molemmat huomioivat katkelmien järjestyksen, mutta katkelman hyödyllisyys ratkaistaan eri vastauksen perusteella.

DeepEvalin Contextual Precision -mittari vaatii testitapaukseen kysymyksen, toteutuneen vastauksen, odotetun vastauksen ja haetut katkelmat. Dokumentoitu relevanssiarvio käyttää kysymystä ja odotettua vastausta määrittäessään, mitkä katkelmat ovat hyödyllisiä; pistelasku painottaa hyödyllisten katkelmien sijoittumista listan alkuun. Toteutunut vastaus kuuluu testitapauksen syötteisiin, mutta tässä relevanssipäätöksessä vertailukohtana on odotettu vastaus.

Ajatellaan kuvitteellista kysymystä palvelun irtisanomisajasta. Järjestelmän vastaus kertoo tavallisen irtisanomisajan, mutta jättää mainitsematta poikkeusehdon. Sama haettu katkelma sisältää sekä tavallisen ajan että poikkeusehdon, ja katkelmien järjestys pidetään muuttumattomana. Jos Ragasin Context Utilization arvioi katkelman hyötyä tuotetulle vastaukselle ja DeepEvalin Contextual Precision käyttää poikkeusehdon sisältävää odotettua vastausta, arvioijat voivat painottaa katkelman sisältöä eri tavoin. Tämä on mittarien syötteistä johdettu mahdollinen ero, ei suoritetun testin pistetulos.

Järjestys tuo vertailuun toisen vaikutuksen. Kun hyödyllinen katkelma siirtyy listan kärjestä myöhemmäksi, järjestystä painottava tarkkuus voi heiketä, vaikka katkelman sisältö ja tuotettu vastaus säilyisivät samoina. Kahden ajokerran pisteitä verrattaessa on siksi tiedettävä, pysyivätkö myös haetut katkelmat ja niiden järjestys samoina. Pelkkä saman kysymyksen ja vastauksen tallentaminen ei riitä hakijan mittarin tulkitsemiseen.

Uskollisuus ei ole sama kuin vastauksen täydellisyys

Faithfulness-mittarissa arvioinnin kohteena on, löytyykö vastauksen väitteille tukea haetusta aineistosta. Se on hyödyllinen tapa havaita väite, jonka vastausta muodostava malli on lisännyt ilman tukea katkelmista. Mittari ei kuitenkaan yksin ratkaise, sisältääkö vastaus kaiken, mitä käyttäjä tarvitsi: puutteellisesta hakutuloksesta voidaan muodostaa täysin sen mukainen mutta vajaa vastaus.

Tämä ero näkyy erityisesti kysymyksissä, joissa oikea vastaus sisältää ehdon, rajauksen tai poikkeuksen. Jos haettu katkelma kattaa vain pääsäännön, siihen pitäytyvä vastaus voi näyttää uskolliselta. Jos toinen hakutapa tuo myös poikkeuksen näkyviin, vastauksen täydellisyyttä voidaan arvioida laajemmin. Siksi uskollisuutta ja tiedon löytymistä kannattaa käsitellä erillisinä havaintoina eikä yhdistää niitä selittämättömäksi kokonaisarvosanaksi.

Myös arvioijamallilla ja arviointiohjeella on merkitystä. Mallipohjainen mittari joutuu tulkitsemaan, mitkä vastauksen osat ovat väitteitä ja tukeeko katkelma niitä. Jos arvioijamalli, sen versio tai ohje muuttuu, uusi pisteluku ei välttämättä kuvaa vain RAG-järjestelmän muutosta. Jos sama arvioija tulkitsee rajatapauksen eri tavoin eri ajokerroilla, myös piste voi vaihdella ilman, että vastaus muuttuu. Vaihtelun määrää ei voi päätellä pelkän kirjaston nimestä.

Miten pisteet vastaavat ihmisarvioita?

Vuonna 2026 julkaistussa RAG-mittareiden empiirisessä tutkimuksessa Ragasin, DeepEvalin, RAGCheckerin ja Opikin mittareita verrattiin kahden ihmisarvioijan pisteisiin yhden ranskankielisen, liiketoiminta-aineistoa käyttävän RAG-järjestelmän vastauksilla. Ihmisarvioinnissa huomioitiin vastauksen paikkansapitävyys, olennaisuus ja sopiva yksityiskohtaisuus. Tutkijat tarkastelivat mittareiden korrelaatioita eri arviointikohteisiin; asetelma ei tuota yleistä voittajaa kirjastojen välille.

Tutkimuksessa pelkkää vastausta muodostavan mallin käyttäytymistä kuvaavat mittarit vastasivat heikosti laajaa ihmisarviota. Tulos on ymmärrettävä mittarin rajauksen kautta: haettuihin katkelmiin tukeutuva vastaus voi silti olla puutteellinen suhteessa tavoitevastaukseen. Tutkimuksen aineisto oli lisäksi rajattu yhteen järjestelmään, joten yksittäisestä korrelaatiosta ei voi päätellä, että mittari erottaisi luotettavasti kahden järjestelmäversion paremmuuden.

Kehittäjälle olennaisempi vertailu syntyy, kun samaan kysymykseen on vaihtoehtoisia vastauksia ja ihmisarvioijat asettavat ne paremmuusjärjestykseen. Mittarilta voidaan silloin kysyä, säilyttääkö se saman järjestyksen. Suomenkielisessä sovelluksessa arvio kannattaa tehdä sen omilla kysymyksillä, katkelmilla ja laatukriteereillä: tutkimuksen kieli ja aineisto olivat toiset. Etenkin poikkeusehtoja sisältävät vastaukset voivat paljastaa, palkitseeko mittari tuetun mutta vajaan vastauksen enemmän kuin käyttötarkoitus sallii.

Kumpi sopii testiin, kokeeseen tai seurantaan?

Jatkuvan integraation testeihin DeepEval tarjoaa suoran testitapausmallin ja läpäisyrajat. Sopiva testi kohdistuu nimettyyn ominaisuuteen, kuten vastauksen osuvuuteen tai uskollisuuteen, eikä kutsu yhden mittarin läpäisyä koko vastauksen oikeellisuudeksi. Kun vertailussa käytetään odotettua vastausta, sen sisältö ja päivitykset on säilytettävä testituloksen yhteydessä. Muuten vertailukohteen muutos voi näyttää järjestelmän taantumalta.

Hakijan kokeissa Ragas tekee näkyväksi valinnan vertailuvastaukseen perustuvan Context Precisionin ja tuotettuun vastaukseen perustuvan Context Utilizationin välillä. Ensimmäinen sopii tilanteeseen, jossa tavoitevastaus on määritelty; jälkimmäinen vastaa eri kysymykseen silloin, kun tavoitevastausta ei ole. Näiden pisteitä ei pidä yhdistää yhdeksi aikasarjaksi, vaikka kysymykset ja katkelmat olisivat samoja.

Tuotantoseurannassa saatavilla ovat tavallisesti kysymys, tuotettu vastaus ja haetut katkelmat, mutta hyväksyttyä vertailuvastausta ei välttämättä ole. Silloin vertailuvastausta vaativaa mittaria ei voi käyttää samaan tapaan kuin valmiiksi merkittyyn testiaineistoon. Mittaripiste on hyödyllinen signaali muutoksesta, kun rinnalla säilyvät yksittäiset vastaukset, hakutulokset sekä arvioijamallin ja mittarin asetukset. Näin voidaan erottaa, muuttuiko mitattava RAG-järjestelmä, arvioinnin vertailukohta vai itse arvioija.

Lue myös: