Promptfoo eða DeepEval: prófunarfylkið og Python-mælikvarðinn finna ólíkar villur

Veljið Promptfoo ef helsta áhættan er að fyrirmæli bregðist ólíkt við eftir líkani eða inntaki. Veljið DeepEval ef þið þurfið að greina hvort RAG-svar styðjist við sótt gögn og prófa sérsniðin gæðaviðmið í Python. Samanburður ScrollTest mælir með þessari verkaskiptingu fyrir endurtekningarpróf í CI.

Munurinn liggur í því hvernig prófin eru sett upp og hvað niðurstaðan sýnir. Yfirlit Promptfoo lýsir opnu skipanalínuverkfæri og forritasafni sem styður margar líkanaveitur, birtir fylki yfir fyrirmæli og inntök og býður árásarprófanir. Upphafsleiðbeiningar DeepEval sýna Python-prófunartilvik með mælikvörðum og þröskuldum sem keyra í pytest-vinnulagi.

Hvaða bilun þarf að sjást fyrst?

Promptfoo á vel við þegar teymi breytir fyrirmælum, prófar nýtt líkan eða vill sjá hvernig sama inntak fer í gegnum margar samsetningar. Fall í einni röð fylkisins sýnir hvar frávikið kom fram. Ef sama spurning stenst hjá einni líkanaveitu en fellur hjá annarri er auðveldara að afmarka hvaða samsetningu þarf að rannsaka.

DeepEval á betur við þegar spurningin snýst um eiginleika svarsins eða einstakt skref í vinnslunni. Við mat á svörum sem byggja á sóttum gögnum þarf til dæmis að greina hvort viðeigandi efni fannst og hvort svarið hélt sig við það efni. Sérreglu vörunnar, svo sem skyldubundið svarform eða tiltekna flokkun, má jafnframt setja fram sem mælikvarða í Python. Bæði verkfærin geta metið RAG-svör; munurinn er hvaða prófunarvinnulag gerir tiltekna bilun skýrasta.

Sama gullsafn gerir samanburðinn sanngjarnan

Til að bera vinnulögin saman má byrja á einu 30 tilvika gullsafni. Fjöldinn er hér tillaga að afmörkuðu prófi, ekki mældur árangur verkfæranna. Hvert tilvik þarf auðkenni, spurningu notanda, vænta staðreynd eða hegðun og skýra lýsingu á þeirri bilun sem það á að afhjúpa. Safnið ætti að rúma bæði venjulegar spurningar, jaðartilvik og inntök sem reyna á fyrirmæli eða leit.

Fyrir leitartengd tilvik þarf að greina á milli heimilda sem ættu að finnast og brota sem kerfið sótti í raun. RAG-leiðbeiningar DeepEval sýna hvernig sótt brot fara í retrieval_context og hvernig hægt er að meta leit og svarmyndun hvort í sínu lagi. Rétt svar þótt röng brot hafi verið sótt kallar á aðra rannsókn en rangt svar sem hunsar rétt brot.

Sama spurning þarf síðan að fara í bæði verkfærin með sömu útgáfu fyrirmæla, sama líkani og sama leitargagnasafni. Í Promptfoo knýr gullsafnið samsetningar fyrirmæla, veita og staðhæfinga; í DeepEval verður tilvikið Python-próf með raunverulegu svari og viðeigandi mælikvörðum. Ef þessi inntök eru ekki föst getur munur á niðurstöðum stafað af uppsetningunni fremur en matinu. Skrá þarf líka hvaða brot voru sótt í hverri keyrslu, því leit getur breyst þótt spurningin haldist eins.

Sami þröskuldur er ekki sama einkunn

Fyrir heimildatryggð mætti setja sömu samþykktarreglu í báðum verkfærum: einkunn að minnsta kosti 0,9 á kvarða frá 0 til 1. Þetta er skilyrt prófunardæmi, ekki ráðlagður almennur staðall. Skjöl Promptfoo um heimildatryggð sýna slíkan þröskuld fyrir staðhæfingu sem ber fullyrðingar svars saman við gefið samhengi. Í DeepEval má setja sama lágmark á FaithfulnessMetric fyrir svar og sótt samhengi.

Jafn þröskuldur gerir ákvörðun um hvort próf standist sambærilega, en einkunnirnar þurfa ekki að verða þær sömu. Verkfærin kunna að skipta svari í fullyrðingar á ólíkan hátt eða nota ólík matslíkön. Þegar þau eru ósammála þarf því að skoða svarið og sóttu brotin, ekki draga ályktun af tölunni einni. Fyrir reglu sem hefur ótvíræða niðurstöðu, til dæmis hvort svar fylgi tilskildu sniði, er afdráttarlaust staðist eða fallið próf oft skýrara en huglægt mat.

Fallið próf þarf að benda á líklega orsök

Fylkismynd eða mælikvarði finnur frávik, en orsök þess ræðst af því hvað breyttist milli keyrslna. Skráið því með hverju tilviki útgáfu fyrirmæla, auðkenni líkans, útgáfu leitargagnasafns, sótt brot, raunverulegt svar og matsreglu. Án þessara upplýsinga getur rauð CI-niðurstaða sýnt að hegðun breyttist án þess að gefa teyminu gagnlega vísbendingu um hvað eigi að laga.

Fyrirmælavilla er líkleg þegar sama líkan og sömu gögn skila verri niðurstöðu eftir breytingu á fyrirmælum. Líkanavilla kemur til greina þegar fyrirmæli og gögn haldast föst en útkoman breytist með líkani eða útgáfu þess. Þetta eru greiningarflokkar fyrir yfirferð, ekki sjálfvirkur dómur um að ein breyting sé örugglega orsökin.

Leitarvilla á við þegar nauðsynleg heimild finnst ekki eða óviðeigandi brot fær forgang. Vöruvilla á við þegar forritið sendir rangt samhengi, tapar fyrirmælum eða vinnur rangt úr svari. Gagnasafnsvilla á við þegar vænt svar í gullsafninu er úrelt, tvírætt eða byggt á röngum viðmiðunargögnum. Þá þarf að leiðrétta prófunartilvikið fremur en að laga líkanið að rangri væntingu.

Þessi flokkun sýnir líka mörk verkfæranna. Promptfoo-fylki getur afmarkað samsetningu sem féll; DeepEval getur tengt fall við mælikvarða og, þegar viðeigandi skref eru skráð, við leit eða svarmyndun. Hvorugt verkfærið veit sjálfkrafa hvort vænta svarið í gullsafninu sé enn rétt. Þar þarf yfirferð þess sem þekkir vöruna og heimildir hennar.

Valið í CI ræðst af því hvað stöðvar útgáfu

Ef teymið skiptir oft um líkan eða fyrirmæli er eðlilegt að láta Promptfoo keyra gullsafnið yfir þær samsetningar við breytingar. Ef útgáfa á fyrst og fremst að stöðvast vegna óstuddra RAG-svara eða brota á sérreglum hentar DeepEval betur sem Python-próf í CI. Þegar báðar áhætturnar skipta máli geta verkfærin deilt gullsafninu, en hvort þeirra þarf eigin matsreglu og skýra ástæðu fyrir falli.

Geymið útgáfu gullsafns og samþykktarþröskulda með prófunarkóðanum. Þá er hægt að rekja fallna keyrslu til tilviks og breytingar án þess að rugla saman gæðum svars og gæðum leitar. Ef valið snýst sérstaklega um mælikvarða fyrir RAG er samanburður á Ragas og DeepEval beint framhald þeirrar spurningar.

Lestu einnig:

• Ragas eða DeepEval: gagnasafnið og CI-prófið mæla ekki sama hlut
• Slack eða Teams: ódýrara valið ræðst af hugbúnaðinum sem er fyrir
• Riverside eða Zencastr: myndband og hljóð velja ekki sama sigurvegara