GPTZero ar Turnitin: lietuviško teksto patikimai neįvertina nė vienas

Vien GPTZero ar Turnitin rezultatu negalima patikimai įrodyti, kad lietuvišką tekstą parašė DI. Turnitin DI ataskaitos gairėse nurodytos anglų, ispanų, japonų ir arabų kalbos bei mažiausiai 300 prozos žodžių reikalavimas, o GPTZero palaikomų kalbų sąraše lietuvių kalbos taip pat nėra.

Net jei paslauga priima lietuvišką tekstą ir parodo balą, tai nereiškia, kad jo klaidų dažnis lietuvių kalbai yra žinomas. Be to, detektorius vertina teksto požymius, o ne nustato autorių, jo darbo eigą ar tai, ar buvo pažeistos konkrečios mokymo įstaigos arba darbdavio taisyklės.

Kalbos ir minimali apimtis

Šių paslaugų ribos skiriasi, todėl vienodos ištraukos įkėlimas į abu įrankius nėra lygiavertis jų tikslumo bandymas. Palaikoma kalba reiškia, kad gamintojas numato ją DI teksto vertinimui; vien galimybė įklijuoti tekstą tokio palaikymo nesuteikia.

• Turnitin DI ataskaita: anglų, ispanų, japonų ir arabų kalbos; bent 300 rišlios prozos žodžių. Eilėraščiai, kodas, lentelės ir kitas neįprastos formos tekstas taip pat nepatenka į patikimai vertinamą prozą. Lietuviškas rašinys neatitinka kalbos reikalavimo, net jei yra pakankamai ilgas.
• GPTZero: anglų ir daugiau kaip 20 kitų išvardytų kalbų, tačiau ne lietuvių. Minimalus įvedimas – 250 ženklų, apytikriai 50 žodžių. Tai techninė apimties riba, o ne pažadas, kad toks trumpas tekstas bus tiksliai priskirtas žmogui arba DI.

Turnitin rodomas DI procentas yra modelio pažymėta tinkamo vertinti teksto dalis, o ne tikimybė, kad visą darbą sukūrė DI. Jis taip pat skiriasi nuo panašumo ataskaitos procento, kuris siejamas su teksto sutapimais. Kai DI įvertis yra mažesnis nei 20 proc., ataskaitoje vietoj skaičiaus ir pažymėtų ištraukų pateikiama žvaigždutė: šiame intervale gamintojas įspėja apie didesnį klaidingų teigiamų rezultatų pavojų. Kalbos ribos toks pateikimo būdas nepanaikina.

Ką iš tiesų matuoja gamintojų tikslumo rodikliai

2026 m. GPTZero daugiakalbiame etalone nurodyta 24 kalbos, 0,09 proc. klaidingų teigiamų rezultatų dažnis ir 97,62 proc. DI teksto aptikimas; ten pat aprašyta 250 ženklų minimali įvedimo riba. Etaloną sudarė ir konkurentų rezultatus skaičiavo pats gamintojas. Bendras kelių kalbų rodiklis nepasako, kaip sistema veikia su lietuvišku darbu, kuris nepatenka į oficialų palaikomų kalbų sąrašą.

2023 m. Turnitin klaidų paaiškinime skelbiamas mažesnis nei 1 proc. dokumentų lygmens klaidingų teigiamų rezultatų dažnis, kai aptinkama bent 20 proc. DI teksto, ir apie 4 proc. sakinių lygmens rodiklis. Dokumento ir pažymėto sakinio rodikliai turi skirtingus vardiklius, todėl jų negalima laikyti dviem to paties tikslumo įverčiais. Tai gamintojo pateikti matavimai pagal jo bandymo sąlygas, o ne lietuviškų tekstų rezultatai.

Skirtumas tarp gamintojo etalono ir kasdienio darbo nėra vien kalba. Etalone žinoma, kurie tekstai buvo sukurti žmogaus, o kurie sugeneruoti DI; mokytojo ar redaktoriaus vertinamoje medžiagoje žmogus gali būti taisęs DI tekstą arba DI priemone tik gludinęs savo paties sakinius. Tokie atvejai turi kitokią autorystės ir leistino naudojimo prasmę, nors detektorius vis tiek pateikia vieną klasifikaciją.

Ką parodė nepriklausomas redaguotų tekstų bandymas

2026 m. akademinių santraukų tyrime vertintos 642 angliškos santraukos: po lengvo DI redagavimo GPTZero pažymėjo 37,6–48,5 proc. tekstų, o Pangram – 64,4–80,1 proc.; po aptikimo vengimo priemone atlikto perrašymo abu detektoriai pažymėjo mažiau nei 4 proc. DI priskirtų tekstų. Didesnis lengvo redagavimo intervalas priklauso Pangram, ne GPTZero. Turnitin šiame bandyme nebuvo tikrintas.

Tyrėjai naudojo paskelbtų straipsnių santraukas ir skirtingas jų perrašymo sąlygas. Vienu atveju DI tik patobulino turimą santrauką, kitu rengė naują tekstą remdamasis straipsniu. Šis skirtumas svarbus: kalbos taisymas gali būti leidžiamas, nors viso darbo generavimas pagal tas pačias taisykles būtų draudžiamas. Aukštas aptikimo dažnis lengvai taisytam tekstui savaime neparodo, kuri iš šių situacijų įvyko.

Tyrime taip pat buvo žymimos nepakeistos, jau paskelbtos santraukos. Naujesnių originalų pažymėjimo negalima automatiškai vadinti patvirtinta klaida, nes nežinoma, ar juos rengiant naudota DI pagalba. Ankstesnių ir naujesnių tekstų, akademinių sričių bei redagavimo būdų skirtumai padeda paaiškinti, kodėl vieno etalono tikslumo skaičiaus nepakanka konkrečiam įtarimui įvertinti. Šio angliškų santraukų bandymo proporcijų negalima perkelti į lietuviškus studentų rašinius.

Kodėl retas pažeidimas keičia teigiamo balo reikšmę

Detektoriaus aptikimo dažnis atsako, kokią dalį DI tekstų jis pažymi. Klaidingų teigiamų rezultatų dažnis atsako, kokią dalį žmogaus tekstų jis pažymi per klaidą. Nė vienas iš šių dydžių atskirai nepasako, kokia dalis pažymėtų darbų iš tiesų buvo sukurta DI: tam reikia žinoti, kaip dažnai DI sukurtų darbų pasitaiko vertinamoje grupėje.

Štai sąlyginis pavyzdys, o ne kurio nors produkto bandymas. Tarkime, tarp 1000 darbų yra 10 DI sukurtų, detektorius aptinka 80 proc. jų ir klaidingai pažymi 1 proc. žmogaus darbų. Jis rastų 8 DI darbus, bet pažymėtų ir maždaug 10 žmogaus darbų. Iš visų pažymėtų darbų mažiau nei pusė būtų DI sukurti. Kuo retesnis ieškomas atvejis, tuo labiau net nedidelis klaidų dažnis veikia teigiamo rezultato prasmę.

Tokia aritmetika neįvertina lietuviškų tekstų tikslumo: pavyzdžio aptikimo ir klaidų dažniai yra tik prielaidos. Ji paaiškina, kodėl net gamintojo pateiktas mažas klaidingų teigiamų rezultatų procentas negali būti paverstas konkretaus žmogaus kaltės tikimybe.

Kokie duomenys reikalingi sprendimui apie autorystę

Kai nuo įtarimo priklauso pažymys, atrankos rezultatas ar publikavimas, pirmiausia reikia atskirti leistiną pagalbą nuo draudžiamo teksto generavimo. Idėjų paieška, vertimas, kalbos taisymas ir viso darbo parašymas yra skirtingi veiksmai; detektoriaus balas neparodo, kuris jų buvo atliktas. Vertinimas gali remtis nuoseklia, autoriui suprantama procedūra:

1. Užfiksuoti vertinamą darbo versiją, užduotį ir tuo metu galiojusias DI naudojimo taisykles. Tik tada galima tiksliai įvardyti, koks veiksmas kelia įtarimą.
2. Peržiūrėti turimus juodraščius, versijų istoriją, pastabas ir šaltinių atranką. Jie gali parodyti argumentų raidą, tačiau vien jų nebuvimas autorystės neįrodo.
3. Paprašyti autoriaus paaiškinti konkretaus teksto argumentus, pasirinktus šaltinius ir atliktus pakeitimus. Paaiškinimas vertinamas kartu su darbo medžiaga, o ne pagal tai, ar autorius geba atspėti detektoriaus sprendimą.
4. Sprendime atskirai nurodyti nustatytus faktus, neaiškias aplinkybes ir tai, kaip įvertintas autoriaus atsakymas. Detektoriaus balas gali paskatinti peržiūrą, tačiau pats vienas neturėtų lemti nepalankaus sprendimo.

Jei turimas tik galutinis lietuviškas tekstas ir vienos paslaugos balas, patikimam autorystės nustatymui duomenų nepakanka. Tokiu atveju pagrįstas sprendimas turi remtis tuo, ką iš tikrųjų leidžia nustatyti darbo eiga ir taikomos taisyklės.