DI vertintojas sutinka su žmogumi, bet balas vis tiek gali skirtis penkiais

|Autorius: QUASA redakcija|5 min. skaitymo| 1
DI vertintojas sutinka su žmogumi, bet balas vis tiek gali skirtis penkiais

„TriviaQA“ atsakymų vertinimo tyrime net geriausiai su žmonėmis sutapusių DI vertintojų apskaičiuotas bendras vertinamų modelių balas nuo žmogaus skirto balo skyrėsi iki penkių punktų. Tai buvo iš atsakymų teisingumo žymų gautas bendras rezultatas, o ne penkių balų skirtumas vertinant vieną atsakymą. Tyrėjai taip pat nustatė jautrumą vertinimo instrukcijos sudėtingumui ir polinkį abejotinus atsakymus vertinti palankiai.

Todėl vien sutapimo procento nepakanka sprendžiant, ar DI vertintojui galima patikėti atsakymų vertinimą. Reikia palyginti jo sprendimus su nepriklausoma žmonių imtimi, išmatuoti bendro balo nuokrypį, pakartoti vertinimus ir patikrinti, ar sukeitus atsakymus vietomis nepasikeičia laimėtojas. Ribinius ir nestabilius sprendimus turi perimti žmogus.

Ką slepia sutapimo procentas

Sutapimo procentas rodo, kaip dažnai žmogus ir DI tam pačiam atsakymui suteikia tą pačią žymą. Jis neparodo klaidų krypties: klaidingai priimtas neteisingas atsakymas ir klaidingai atmestas teisingas atsakymas šiame rodiklyje atrodo vienodai. Jei vertinimas lemia, ar atsakymas bus paskelbtas, pirmoji klaida gali būti gerokai svarbesnė už antrąją.

Didelėje lengvų atsakymų grupėje abu vertintojai gali dažnai sutarti, nors nuolat skirtis dėl sudėtingų atvejų. Todėl šalia bendro sutapimo reikia atskirai skaičiuoti klaidingai priimtų ir klaidingai atmestų atsakymų dalį, o rezultatus išskaidyti pagal užduočių rūšį. Atsitiktinį sutapimą įvertinantis Scotto π koeficientas suteikia daugiau konteksto, tačiau ir jis neparodo, kiek skiriasi galutinis balas.

Jei bendras rezultatas yra teisingais pripažintų atsakymų dalis, žmogaus ir DI rezultatų skirtumą galima išreikšti procentiniais punktais. Naudojant kitokią balų skalę, pirmiausia reikia apibrėžti jos ribas, o tada skaičiuoti vidutinį absoliutų nuokrypį ir atskirai stebėti didžiausius skirtumus. Skirtingų skalių balų negalima lyginti taip, tarsi jų punktai reikštų tą patį.

Kaip sudaryti žmogaus vertinimų imtį

Atskaitos imtis turi atspindėti užduotis, kurias DI vertintojas iš tikrųjų gaus. Į ją verta įtraukti trumpus ir ilgus atsakymus, aiškiai teisingus bei klaidingus atvejus, taip pat atsakymus ties sprendimo riba. Lietuviškai vertinamai paslaugai būtini lietuviški klausimai ir tai sričiai būdinga terminija. Vien iš lengvų angliškų pavyzdžių sudarytas bandymas neparodys, kaip vertintojas veiks numatytoje aplinkoje.

Žmonėms ir DI pateikite tą patį klausimą, atsakymą, vertinimo taisyklę ir, jei reikia, tą patį etaloninį atsakymą. Žmonėms nerodykite DI žymos ar paaiškinimo: kitaip jų sprendimas nebebus nepriklausomas atskaitos taškas. Bent dalį pavyzdžių tegu įvertina du žmonės atskirai, kad būtų matyti, kur neaiški pati taisyklė.

Prieš skaičiuojant DI klaidas reikia sutarti, kaip spręsti žmonių nesutarimus. Galima pasitelkti trečią vertintoją arba iš anksto aprašytą bendro sprendimo tvarką; ginčytinų atvejų nereikėtų tyliai priskirti vieno žmogaus žymai. Išsaugotas klausimas, atsakymas, taisyklė ir žmogaus sprendimas leis tą pačią imtį naudoti pakartotiniam patikrinimui pasikeitus modeliui ar instrukcijai.

Kur atsiranda eiliškumo ir nuolaidumo šališkumas

ICLR pristatytame CALM tyrime išskirta 12 galimų DI vertintojo šališkumų ir pasiūlyta juos kiekybiškai tikrinti keičiant atsakymų pateikimą. Tarp nagrinėtų požymių yra atsakymo vieta, ilgis ir vertinamo modelio tapatybė. Tai reiškia, kad aukštas sutapimas su žmonėmis vienoje imtyje dar neatsako, ar sprendimą lemia būtent atsakymo kokybė.

Poriniame palyginime pateikite tuos pačius atsakymus kaip A ir B, paskui sukeiskite jų vietas. Laimėtojas turėtų likti tas pats, jei nepasikeitė turinys. Skaičiuokite, kokiai palyginimų daliai pasirinkimas apsivertė; tokius atvejus atskirkite nuo paprasto lygiaverčių atsakymų svyravimo. Jei laimėtojas priklauso nuo vietos, vieno parodymo rezultatas netinka automatiniam pasirinkimui.

Ilgio šališkumą galima tirti pateikiant tos pačios kokybės atsakymo trumpesnę ir ilgesnę versiją. Pakeitimas turi išsaugoti faktus bei reikšmę, nes pridėta naudinga informacija jau būtų tikras kokybės skirtumas. Atskirai verta paslėpti atsakymą sukūrusio modelio pavadinimą: jei balas pasikeičia vien dėl autoriaus etiketės, vertintojas remiasi požymiu, kuris neįtrauktas į atsakymo kokybės taisyklę.

Nuolaidumą geriausiai atskleidžia klaidų kryptis žmogaus imtyje. Jei DI dažniau pažymi klaidingus atsakymus kaip teisingus negu atmeta teisingus, vienas bendras tikslumo skaičius šį polinkį užmaskuos. Ypač naudingi iš dalies teisingi atsakymai: juose vertinimo taisyklė turi aiškiai pasakyti, ar trūkstama arba klaidinga detalė keičia galutinį sprendimą.

Stabilumas, balas ir rangas matuoja skirtingus dalykus

Stabilumui patikrinti tą pačią imtį vertinkite pakartotinai su ta pačia modelio versija, instrukcija ir nustatymais. Suskaičiuokite, kiek kartų pasikeitė teisingumo žyma, o naudojant balų skalę – kiek svyravo balas. Šį bandymą laikykite atskirai nuo eiliškumo testo: vienu atveju kartojamas tas pats įėjimas, kitu sąmoningai keičiamas atsakymų pateikimas.

Vertintojas gali teisingai surikiuoti kelias sistemas nuo geriausios iki prasčiausios, bet visoms skirti per aukštus balus. Kai tikslas yra palyginti sistemų versijas, žmonių ir DI sudarytų rangų panašumą galima matuoti Spearmano rangų koreliacija. Kai balas lemia kokybės ribą, ataskaitą ar atlygį, būtinas ir paties balo nuokrypis. Sutampantis rangas neištaiso sistemingai per dosnaus vertinimo.

Rezultatus verta laikyti atskirai pagal užduočių grupes: kiek sutapo žymų, kiek skyrėsi balai, kiek sprendimų pasikeitė pakartojus vertinimą ir kiek jų apsivertė sukeitus atsakymus. Jei vienoje grupėje klaidingų pritarimų daugiau, geras visos imties vidurkis neturėtų užgožti tos grupės rizikos. Taip pat matysis, ar vertintojas patikimas būtent tai užduočiai, kuriai jį ketinama naudoti.

Kada sprendimą perima žmogus

Priėmimo ribas komanda turėtų užrašyti prieš vertindama rezultatus. Bendras DI ir žmogaus nesutarimų lygis turi būti lyginamas su žmonių tarpusavio nesutarimais, tačiau vien šio palyginimo nepakanka: atskirai nustatykite leistiną balo nuokrypį ir klaidingų pritarimų ribą pagal sprendimo pasekmes. Vidiniam versijų rikiavimui gali būti svarbesnis rangas, o atsakymo paskelbimui – klaidingo pritarimo dažnis.

Konkretaus atsakymo sprendimą perduokite žmogui, jei vertinimas pasikeičia pakartojus bandymą, porinio palyginimo laimėtojas apsiverčia sukeitus vietas arba balas patenka į neapibrėžtą zoną prie sprendimo ribos. Tos zonos plotį galima susieti su žmogaus imtyje išmatuotu balų nuokrypiu: kai skirtumas nuo ribos ne didesnis už pasirinktą leistiną nuokrypį, automatinis sprendimas būtų pernelyg trapus. Tai komandos nustatoma taisyklė, o ne universalus tyrimų pasiūlytas skaičius.

Dalį atsakymų, kurie nepateko į perdavimo taisykles, reguliariai atrinkite atsitiktinei žmogaus patikrai. Kitaip naujos klaidos liks nematomos, nes bus tikrinami tik jau žinomi rizikos atvejai. Pasikeitus vertintojo modeliui, instrukcijai arba vertinamų užduočių pobūdžiui, palyginimą pakartokite su išsaugota žmogaus imtimi ir naujais tos pačios paskirties atsakymais.

Taip pat skaitykite:

Dalintis:

Susiję straipsniai

Prenumeruokite mūsų naujienlaiškį

Gaukite naujausias Web3, DI ir kriptovaliutų naujienas tiesiai į savo el. pašto dėžutę.

0