Un LLM îți notează răspunsurile? Inversează ordinea înainte să crezi scorul

Poți evalua răspunsurile unui LLM cu un alt model dacă definești criteriile de calitate, verifici verdictele pe un eșantion etichetat de oameni și compari fiecare pereche de răspunsuri în ambele ordini. Scorul automat îți arată ce merită investigat, dar deciziile critice au nevoie de revizuire umană. Ghidul AWS pentru evaluarea răspunsurilor recomandă validarea evaluatorului față de judecăți umane, alegerea unui model din altă familie și păstrarea oamenilor în proces pentru deciziile critice.

Ordinea merită verificată deoarece evaluatorul poate alege alt câștigător după simpla mutare a acelorași răspunsuri. În studiul MT-Bench și Chatbot Arena, evaluatori puternici precum GPT-4 au depășit 80% acord cu preferințele umane în comparațiile raportate; într-un test separat pe răspunsuri similare, GPT-4 cu promptul implicit a păstrat verdictul după inversare în 65% dintre cazuri. Sunt măsurători din condiții diferite, iar niciuna nu stabilește cât de bine va judeca modelul ales pentru aplicația ta.

Construiește un eșantion etichetat de oameni

Adună întrebări apropiate de cele pe care le primește sistemul în practică și păstrează răspunsurile pe care vrei să le compari. Include cereri obișnuite, formulări ambigue și cazuri în care răspunsurile diferă prin corectitudine, completitudine sau lungime. Dacă aplicația răspunde pe baza unor documente, salvează și pasajele puse la dispoziție la generare: evaluatorul trebuie să poată distinge o afirmație susținută de una doar plauzibilă.

Cere evaluatorilor umani să aleagă răspunsul preferat sau egalitatea și să noteze motivul decisiv. Ascunde numele modelelor și verdictul automat, ca eticheta umană să nu fie influențată de ele. Păstrează dezacordurile dintre oameni: la o întrebare deschisă, două alegeri diferite pot arăta că rubrica trebuie clarificată, nu că unul dintre evaluatori a greșit sigur.

Împarte exemplele înainte de reglarea evaluatorului. Folosește o parte ca să formulezi și să corectezi instrucțiunile, apoi verifică varianta aleasă pe exemplele rezervate. Dacă modifici rubrica după fiecare verdict nefavorabil din setul de verificare, acel set încetează să mai fie o probă utilă pentru răspunsuri noi.

Definește ce câștigă o comparație

Scrie o rubrică pe care și un om o poate aplica. Pentru un asistent care răspunde din documente, ordinea criteriilor poate fi: afirmații susținute de pasajele disponibile, răspuns la cererea utilizatorului, respectarea formatului și claritate. Formularea elegantă nu trebuie să compenseze un fapt greșit. Pentru o altă sarcină, schimbă aceste priorități înainte de evaluare, nu după ce vezi ce model câștigă.

Solicită un rezultat structurat: identitatea răspunsului ales, posibilitatea de egalitate și o explicație scurtă legată de criteriul decisiv. Dacă evaluezi un singur răspuns, definește condițiile pentru categorii precum „corect”, „parțial corect” și „incorect”. Categoriile explicite sunt mai ușor de comparat cu etichetele umane decât două note numerice apropiate, a căror diferență poate avea sensuri diferite de la un caz la altul.

De exemplu, într-un caz ipotetic despre un termen dintr-un document, un răspuns scurt îl redă exact, iar unul lung adaugă explicații nesusținute. Rubrica ar trebui să prefere răspunsul verificabil. În caz contrar, evaluatorul poate răsplăti volumul textului, deși informația suplimentară reduce calitatea răspunsului.

Inversează perechea fără să schimbi altceva

Trimite evaluatorului aceeași întrebare, același context și aceeași rubrică de două ori. Schimbă doar pozițiile răspunsurilor și ține evidența identității lor reale, independent de etichetele „primul” și „al doilea”. Aceasta este verificarea directă a consecvenței verdictului la schimbarea ordinii.

1. Prezintă răspunsul X înaintea răspunsului Y și salvează alegerea, egalitatea și motivul.
2. Prezintă răspunsul Y înaintea răspunsului X, fără să rescrii vreun răspuns sau criteriu.
3. Asociază fiecare verdict cu X sau Y. Declară un câștigător stabil numai dacă același răspuns este preferat în ambele ordini.

Dacă evaluatorul alege prima poziție în ambele rulări, a ales de fapt două răspunsuri diferite. Marchează perechea ca instabilă și trimite-o la revizuire; pentru calculul automat al preferințelor, o poți trata ca egalitate. O schimbare izolată poate proveni și din variația dintre rulări, așa că nu îi atribui automat o singură cauză. Numără perechile instabile pe tipuri de sarcini și urmărește dacă apar mai des când răspunsurile sunt apropiate ca valoare.

Verifică separat perechile cu diferențe mari de lungime. Un răspuns amplu poate aduce informație necesară, dar poate și repeta aceeași idee ori adăuga afirmații fără sprijin. Motivul evaluatorului trebuie să arate ce informație utilă a schimbat alegerea, nu doar să descrie răspunsul câștigător drept „mai detaliat”.

Calibrează modelul care judecă și repetă votul

Alege, dacă poți, un evaluator din altă familie decât modelul care a produs răspunsurile. Este o precauție împotriva preferinței pentru un stil asemănător celui propriu, nu o garanție de imparțialitate. Compară apoi alegerile sale cu etichetele umane: notează acordul, egalitățile și tipurile de greșeli care se repetă. Examinează mai ales cazurile în care un răspuns fluent câștigă în fața unuia verificabil.

Pentru perechile importante, repetă evaluarea în fiecare ordine și păstrează voturile individuale. Majoritatea poate reduce efectul unor răspunsuri variabile de la o rulare la alta; nu corectează o preferință sistematică pentru prima poziție. Dacă majoritatea indică X într-o ordine și Y în cealaltă, perechea rămâne instabilă chiar dacă fiecare serie de voturi pare convingătoare privită separat.

Stabilește când intervine un om

Fixează înainte de folosirea scorului un prag minim de acord cu etichetele umane pentru fiecare categorie de sarcini importantă. Alege pragul în funcție de cât costă o eroare în aplicația ta și de rezultatele calibrării, nu din acordul obținut de alt evaluator pe alte întrebări. Trimite la oameni perechile al căror câștigător se schimbă după inversare, voturile împărțite, explicațiile care nu indică un criteriu verificabil și răspunsurile folosite în decizii critice.

Raportează împreună acordul cu oamenii și proporția perechilor instabile, separate pe categorii. Un scor general mai bun poate ascunde rezultate mai slabe tocmai la întrebările pentru care exactitatea contează cel mai mult. Când schimbi modelul testat, promptul, documentele disponibile sau evaluatorul, rulează din nou eșantionul rezervat înainte de a compara noile scoruri cu cele vechi.

Citește și:

• Cache-ul semantic taie apelurile LLM, dar poate reutiliza răspunsul greșit
• Prompt engineering sau fine-tuning: sarcina poate inversa câștigătorul
• OpusClip sau Klap: durata podcastului poate inversa costul lunar