AI-teksti detektor: 1% valehäirete juures langes tabamus nulli

AI-teksti detektori skoor ei tõenda autorsust: seitsme detektori uuringus langes mõne detektori, keelemudeli ja tekstiliigi kombinatsioonis tabamus 1% valehäirete määra juures 0%-ni. See tähendab, et rangelt piiratud valehäiretega testis jäid selle kombinatsiooni masinaga loodud tekstid märkamata; tulemus ei käi kõigi tööriistade ega kõigi tekstide kohta.

Õpetaja, tööandja või toimetaja võib märgistuse põhjal küsida, kuidas töö valmis, kuid ei saa üksnes protsendist järeldada pettust, plagiaati ega seda, kes laused kirjutas. Madal skoor ei kinnita samuti iseseisvat kirjutamist. Otsustamisel loevad kehtinud reeglid, kontrollitavad tööjäljed ja autori selgitus.

Tabamus, valehäire ja AUROC vastavad eri küsimustele

Tabamusmäär näitab, kui suur osa teadaolevalt masinaga loodud tekstidest märgitakse õigesti. Valehäirete määr näitab, kui suur osa teadaolevalt inimese kirjutatud tekstidest märgitakse ekslikult. Detektor seab skoorile otsustuspiiri: kõrgema piiri korral on inimese teksti ekslik märgistamine tavaliselt harvem, ent ühtlasi võib rohkem masinaga loodud tekste läbi pääseda. Nii võib sama tööriist anda eri piiride juures väga erineva tabamusmäära.

AUROC võtab kokku, kui hästi tööriist eristab kaht teadaoleva päritoluga tekstirühma kõigi võimalike otsustuspiiride lõikes. See aitab detektoreid võrrelda, kuid ei ütle, kui sageli tööriist tabab masinteksti just piiri juures, millega kool või tööandja on valmis kaasnevaid valehäireid taluma. Väide „hea keskmine täpsus” ei anna seega vastust inimese üksikjuhtumile. Selleks tuleb vaadata tabamusmäära kindla valehäirete määra juures ning seda, millistel tekstidel piir paika pandi.

Piiri ei saa ka mõtestatult valida ainult masinaga loodud näidete põhjal. Vaja on inimese kirjutatud võrdlustekste samast keskkonnast: näiteks sarnase ülesande, keele ja pikkusega töid. Kui võrdlusmaterjal erineb hinnatavast tekstist, kirjeldab mõõdetud valehäirete määr teist olukorda. Sellest piirangust ei saa üle lihtsalt skoori kümnendkohani lugedes.

Miks uuringu tulemus ei kandu automaatselt eestikeelsele tööle?

NISTi pilootuuringus hindasid detektorid inimese ja keelemudeli kirjutatud artiklikokkuvõtteid: mõned generaatorid eksitasid enamikku detektoritest, kuid mõned detektorid eristasid peaaegu kõigi generaatorite tekste. Sama küsimuse vastus sõltus nii teksti loonud süsteemist kui ka hindajast. See on põhjus, miks ühe tööriista või ühe mudeli põhjal tehtud üldistus võib teise koosluse puhul eksida.

Uuringu kokkuvõtted olid teadaoleva päritoluga võrdlustekstid. Õpilastöö, kandideerimiskiri või toimetusele saadetud artikkel võib aga kujuneda kavandist, tõlkeabist, masinaga koostatud lõigust ja inimese hilisematest parandustest. Sellise töö puhul on kaks kategooriat — „inimene” ja „masin” — sageli liiga jämedad, et kirjeldada tegelikku autoripanust. Oluline on teada, kas uuritud tööriista prooviti ka sama liiki ja sama keele tekstidel, mille kohta otsus tehakse.

Erinevus pole ainult keeles. Lühike vastus, pikk essee, tehniline kokkuvõte ja vestlus kasutavad erinevaid väljendeid ning annavad detektorile erineva hulga materjali. Ka ülesande juhis võib tekstid üksteisele sarnasemaks muuta. Kui tööriistale näidatakse uut tekstitüüpi või uuema mudeli väljundit, ei pruugi varasem hindamistulemus enam sama tähendada. Eestikeelse üksiktöö kohta ei anna ingliskeelsete kokkuvõtete võrdlus valmis veamäära.

Mida protsent ekraanil tegelikult tähendab?

Protsendi tähendus oleneb teenusest. Mõni detektor esitab klassifikatsiooniskoori, mõni hinnangulise masinteksti osa. Näiteks Turnitini AI-aruande juhend määratleb protsendi kui selle osa hinnatavast proosatekstist, mille mudel peab võimalikuks AI-kirjutuseks; juhend ütleb ka, et tulemus ei tohi olla õppija vastu suunatud otsuse ainus alus. See protsent ei ole tõenäosus, et konkreetne autor reeglit rikkus, ning see erineb tekstilise sarnasuse näitajast.

Isegi tõenäosusena esitatud skoor vajaks kalibreerimist samalaadsete tekstide ja kasutusviiside peal. Lisaks sõltub märgistuse tähendus sellest, kui sageli uuritav nähtus üldse esineb. Kujutlegem tinglikult tuhandet teksti, millest kümme on täielikult masinaga loodud. Kui detektor leiab neist pooled ja märgib ekslikult ühe protsendi ülejäänud inimese tekstidest, on märgistatud tööde seas ligikaudu viis õiget tabamust ja kümme valehäiret. Väike valehäirete määr ei muuda siis üksikut märgistust tugevaks autorsustõendiks. See on arvutusnäide, mitte konkreetse teenuse mõõdetud tulemus.

Millised tõendid on enne süüdistust asjakohased?

Kõigepealt tuleb sõnastada väidetav rikkumine. Ülesanne võis lubada keele parandamist, kuid keelata valmis lõigu esitamise; tööandja võis lubada tööriista kasutamist, kui kandidaat suudab valikuid põhjendada. Plagiaat puudutab võõra töö omistamist endale, AI kasutamise lubatavus sõltub omakorda kehtinud kokkuleppest. Sama detektoriskoor võib nende reeglite puhul tähendada eri uurimisküsimusi.

Kirjutamisprotsessi kohta annavad sisukamat teavet jäljed, mille päritolu saab kontrollida:

1. Kavandid, mustandid ja versiooniajalugu näitavad, kuidas mõte ning sõnastus arenesid. Nende puudumine ei ole iseenesest tõend keelatud abi kohta, sest kõigil töödel ei säili samasugune ajalugu.
2. Viited, algmaterjalid ja väidete kujunemine võimaldavad küsida autorilt, miks ta tegi konkreetse järelduse või muutis varasemat sõnastust. Vastust tuleb võrrelda töö sisuga, mitte üksnes inimese esinemiskindlusega.
3. Autori selgitus lubatud tõlke-, keele- ja AI-abi kohta aitab eristada ideede loomist, teksti toimetamist ning valmisteksti esitamist. Kui võimalik, võrreldakse selgitust ajaliselt säilinud tööjälgedega.

Versiooniajalugu näitab redigeerimist, kuid ei ütle alati, kes algteksti lõi. Ühe korraga lisatud pikk lõik võib pärineda failist, mille autor kirjutas mujal; paljud väikesed parandused võivad omakorda olla masinteksti hilisem toimetus. Seepärast tuleb jälje tekkimise viisi ja ajastust hinnata koos teiste tõenditega.

Toimetuses võib sarnane kontroll tähendada faktiväidete päritolu ja redigeerimiskäigu vaatamist; värbamisel tööülesande lahenduskäigu küsimist. Ka mitme detektori ühesugune märgistus ei ole automaatselt sõltumatu kinnitus, sest tööriistad võivad reageerida samadele tekstitunnustele. Kui ainus konkreetne tõend on skoor, saab põhjendatult otsustada lisaselgituse vajaduse üle, mitte pidada reegli rikkumist tuvastatuks.