LLM-i hindamiskomplekt: tootmislogi on parem algus kui üldine mõõdik

AI-rakenduse hindamisandmestik alaku tegelikest kasutusjuhtudest: vali tootmislogist korduvad ülesanded, teadaolevad vead ja harvad piirjuhtumid, lisa igale juhtumile eksperdi määratud oodatud tulemus ning käivita sama komplekt pärast prompti või mudeli muutmist. OpenAI hindamise head tavad soovitavad ülesandepõhiseid teste, logidest juhtumite kogumist ja automaathindamise kalibreerimist inimeste hinnangutega; ainult üldisele skoorile toetumine võib rakenduse vead varju jätta.

Alustuseks piisab CSV-tabelist, mille iga rida kirjeldab korratavat katset: mida rakendus sai sisendiks, milline vastus oleks vastuvõetav, mis läks varem valesti ja kes või mis tulemust hindab. Hoia prompti parandamiseks nähtavad näited lahus nendest, millega hindad valitud versiooni enne kasutuselevõttu. Korduvalt parandatud näide ei näita enam usaldusväärselt, kuidas rakendus lahendab sama liiki uut juhtumit.

Vali logidest juhtumid, mis katavad päris ülesande

Määra enne valimist, millist tööd rakendus teeb ja mille järgi saab vastust õigeks pidada. Näiteks kliendikirja liigitaja puhul on kontrollitav tulemus õige silt; dokumentide põhjal vastava assistendi puhul tuleb hinnata ka seda, kas vastus toetub antud materjalile ja ütleb, kui vajalik teave puudub. Eri ülesannete üks koondtulemus võib varjata seda, et üks paraneb ja teine halveneb.

Võta logidest nii tavalisi päringuid kui ka juhtumeid, mille puhul kasutaja parandas vastust või vajas inimese abi. Lisa eraldi harvad, kuid olulised piirjuhtumid: puuduv lähteinfo, mitmetähenduslik küsimus, pikk sisend, vastuolulised dokumendid või varasemast teada vale vastuse tüüp. Märgi iga rea juurde päritolu ja veaklass, et eristada kasutuses sagedast probleemi sihilikult lisatud stressikatsest. Kasutaja rahulolematus või varasem mudelivastus üksi ei määra, milline vastus on õige.

Enne juhtumi tabelisse tõstmist eemalda või asenda isikuandmed ja muud tundlikud üksikasjad ning säilita ainult hindamiseks vajalik kontekst. Kui vastus sõltus konkreetsest dokumendiversioonist, tööriista tulemusest või vestluse varasemast osast, fikseeri see koos sisendiga. Muidu võivad samana näivad päringud anda eri vastuse lihtsalt seetõttu, et nende lähteandmed erinevad.

Kirjuta üks juhtum ühele reale

Kopeeritav CSV päiserida on id; sisend; kontekst; oodatud_vastus; hindamiskriteerium; veaklass; raskusaste; hindaja; jaotus; päritolu. Need väljad on väikeses tiimis kasutatav mudelineutraalne kokkulepe, mitte ühe platvormi kohustuslik vorming. OpenAI andmestiku juhend kirjeldab CSV sisendi- ja kontrollvastuse veerge ning täpse vaste, tekstilise sarnasuse, mudeli ja Pythoni põhiseid hindajaid.

Sisend sisaldab mudelile antavat päringut; kontekst eraldi kujul kaasa antud materjali või selle fikseeritud viidet. Oodatud_vastus võib olla täpne silt või eksperdi koostatud vastus. Vabateksti korral lisa hindamiskriteeriumisse kohustuslikud faktid ja vastuvõetavad sõnastusvariandid, et teistsuguse lauseehitusega õige vastus ei kukuks läbi.

Veaklass nimetab probleemi, näiteks vale liigituse, väljamõeldud fakti või puuduva keeldumise. Raskusaste kirjeldab vea mõju kasutajale, mitte seda, kui keeruline näide mudelile tundub. Hindaja ütleb, kas vastust kontrollib programm, teine mudel või valdkonnaekspert; jaotus määrab, millal juhtumit võib kasutada. Tunnus ja päritolu aitavad dublette tuvastada ning algse logikirje üles leida ilma tundlikku sisu tabelisse kopeerimata.

Tinglik näide: tellimuse olekut küsiv päring saab veaklassiks „väljamõeldud olek”, kui varasem vastus väitis, et pakk on teel, kuigi sisendis polnud saadetise infot. Oodatud tulemus ei pea olema üks kindel lause. Hindamiskriteerium võib nõuda, et vastus ütleks info puudumist ja küsiks tellimuse tunnust; nii jääb juhtum kontrollitavaks ka siis, kui järgmine mudel sõnastab vastuse teisiti.

Jaga näited enne prompti parandamist

Kasuta arenduskomplekti vigade mõistmiseks ja prompti muutmiseks. Valideerimiskomplekt aitab valida kandidaatide vahel, kuid iga selle tulemuste põhjal tehtud muudatus vähendab komplekti sõltumatust. Pimekomplekt jäta lõppvõrdluseks ja ava alles siis, kui valikukriteerium ning võrreldavad versioonid on paigas.

Anthropicu hindamise juhend käsitleb tegelikku ülesannet peegeldavaid juhtumeid ja piirjuhtumeid ning kasutab hindamise näites eraldi hoitud testkomplekti. Väikesel tiimil tasub jaotada näited ülesande ja veaklassi kaupa, et harvad, kuid suure mõjuga vead ei koonduks ainult ühte ossa. Sama logisündmuse ümber sõnastatud variandid hoia samas jaotuses: muidu on pimekatses sisuliselt arenduses nähtud vastus.

Kui pimekomplekti tulemus on kord nähtud ja selle järgi prompti muudetud, märgi kasutatud komplekti versioon hindamisajalukku. Järgmiseks sõltumatuks kontrolliks kogu uusi juhtumeid. Nii on hiljem selge, milliseid näiteid arendaja kandidaatide valimise ajal juba teadis.

Vali hindaja vastuse liigi järgi

Täpne stringivaste sobib kindla sildi, koodi või ette määratud väljade kontrolliks. Programmilise reegliga saab kontrollida vormingut ja kohustusliku välja olemasolu. Vabateksti puhul võib sarnasushinnang aidata leida lähivasteid, kuid sarnane sõnastus ei tõesta faktilist õigsust. Kui ülesanne nõuab mitme tingimuse sisulist kaalumist, anna mudelipõhisele hindajale selged kriteeriumid ja lase tal neid eraldi hinnata.

Kalibreeri automaathindaja eksperdi märgenditega: lase inimesel hinnata eri veaklasside ja raskusastmete näiteid, käivita nende peal hindaja ning vaata eraldi valesid läbimisi ja valesid tagasilükkamisi. Kui lahknevused koonduvad ühte veaklassi, täpsusta selle kriteeriumi või jäta klass inimkontrolli. Hoia kalibreerimiseks kasutatud juhtumid lõplikust pimevõrdlusest lahus, sest hindaja kohandamine samade näidete järgi muudaks lõpptulemuse eksitavalt heaks.

Võrdle versioone sama katsega

Käivita vana ja uus prompt või mudel sama fikseeritud sisendi, konteksti ning hindamiskriteeriumiga. Salvesta koos tulemusega prompti versioon, mudel, olulised seadistused ja kasutatud tööriistade vastused. Kui muutub ka allikadokument või otsingutulemus, ei saa vastuste erinevust omistada üksnes mudeli või prompti muutusele.

Vaata koondtulemuse kõrval läbimise määra veaklassi ja raskusastme lõikes ning loe läbi juhtumid, kus versioonid lahknevad. Erilist tähelepanu vajavad varem õigesti lahendatud juhtumid, mis uues versioonis läbi kukuvad. Lisa kinnitatud uus tootmisviga arenduskomplekti, kuid kogu järgmiseks pimevõrdluseks samast vealiigist eraldi näiteid. Nii saab ka mitu kuud hiljem kontrollida, kas parandus püsib pärast mudeli või prompti vahetust.

Loe ka:

• ERC loob AI-le eraldi hindamispaneeli — rakendusuuring sinna ei mahu
• Kas e-post lekkis? HIBP leid on alles turvakontrolli algus
• Struktureeritud AI-väljund: JSON kehtib alles siis, kui skeem peab