AI детектор није доказ: један проценат грешке може да оптужи човека

AI детектор може погрешно да означи текст који је написао човек. Чак и условна стопа лажно позитивних налаза од једног процента значи да нечији рад може бити погрешно означен; преглед независних тестова у Le Monde наводи за Pangram мање од једног процента у једном испитивању и око два процента у другом. Ниједна од тих стопа не утврђује ко је написао појединачни рад.

Наставник, послодавац или уредник зато треба да третира налаз као повод за проверу, а не као пресуду. Прво је важно утврдити шта је алат анализирао и да ли је погодан за тај језик и облик текста. Потом аутору треба дати прилику да објасни поступак рада и понуди нацрте, историју измена или друге трагове који постоје.

Шта проценат заправо мери

Проценат у извештају није вероватноћа да је аутор прекршио правило. У упутству за Turnitin AI Writing Report он означава удео одговарајуће прозе који модел оцењује као могуће генерисан или накнадно прерађен машинским алатом; сервис не приказује бројчану оцену испод прага од 20 процената, тражи најмање 300 речи прозе и међу подржаним језицима не наводи српски. Turnitin у истом упутству упозорава да модел може погрешно означити текст и да налаз не треба да буде једини основ за неповољну одлуку о студенту.

Тај удео говори о тексту који је прошао кроз одређени модел, према његовим правилима обраде. Не говори колико је аутор самостално развио идеју, пронашао изворе или уредио коначну верзију. Ако је унет само одломак, налаз се односи на тај одломак; ако је унет превод или лекторисана верзија, не описује нужно језичке особине првобитног рукописа.

Важна је и разлика између две грешке. Лажно позитиван налаз означава људски текст као машински и може да покрене неправедну оптужбу. Лажно негативан налаз пропушта текст који јесте генерисан. Алат може бити подешен да ређе погрешно означава људе, али такав избор сам по себи не говори колико успешно препознаје машински текст.

Зашто резултат теста не важи за сваки рад

Тачност измерена у истраживању зависи од скупа текстова, начина њихове припреме и прага на ком алат доноси одлуку. У истраживању о препознавању машински генерисаног текста већинска процена пет људи који често користе језичке моделе погрешно је сврстала само један од 300 енглеских нефикционалних текстова; међу испитаним аутоматским алатима Pangram је достигао сличан укупан учинак, док су други показали знатно различите резултате. Истраживачи су испитивали и преформулисане и намерно „хуманизоване” машинске текстове, који су многим детекторима отежали препознавање.

Оцењивачи у том раду имали су искуство с употребом језичких модела, а текстови су били на америчком енглеском. Њихов резултат не може се приписати сваком наставнику који прегледа школски задатак, нити пренети на рад написан на српском. Ни успех једног детектора у таквом тесту не представља гаранцију за конкретан одломак, другачији жанр или нови начин прераде текста.

Посебно је лако помешати стопу погрешног оптуживања с успешношћу у откривању машинског текста. Алат може ретко означити људски рад као машински, а ипак пропустити део генерисаних радова. Зато податак о једној врсти грешке треба читати уз питање на каквим је текстовима измерен и шта се дешавало с другом врстом грешке.

Дужина, језик и прерада мењају налаз

Кратак одговор и дугачак есеј не дају алату исту количину језичких трагова. Превод мења избор речи и структуру реченица, а преформулисање може изменити обрасце на којима детектор заснива процену. Зато резултат добијен на дугим текстовима на енглеском није поуздана мера учинка на кратком, преведеном или српском раду.

И права употреба помоћних алата зависи од правила задатка. Исправљање граматике, превођење сопственог нацрта и предаја машински написаног рада као сопственог нису исто поступање, чак и ако се у коначној верзији виде сличне језичке промене. Пре оцене је зато потребно знати шта је било дозвољено и која је верзија текста послата детектору.

Како проверити сумњу пре одлуке

Провера треба да раздвоји технички налаз од питања да ли је особа прекршила конкретно правило. Најпре треба сачувати анализирану верзију рада и забележити алат, језик и обим унетог текста. Ако извештај не одговара врсти рада или условима које алат захтева, његов проценат не добија већу тежину зато што нема других трагова.

1. Упоредите извештај с предатим радом. Проверите да ли су анализирани цео текст или одломак, првобитна верзија или накнадно преведена и уређена верзија.
2. Потражите трагове настанка који су заиста доступни: раније нацрте, историју верзија, белешке о изворима или измене настале после повратне информације. Њихова вредност је у томе што показују развој конкретног текста.
3. Омогућите аутору да објасни тезу, избор извора, важније измене и употребу алата. Питања треба повезати с правилима задатка, а не са претпоставком да је ознака детектора тачна.
4. Образложите одлуку проверљивим околностима и оставите простор да аутор исправи погрешну претпоставку о свом поступку рада.

Историја верзија може бити снажан процесни траг када повезује нацрт, измене и коначан текст. Њено одсуство ипак не доказује употребу генеративног алата: не чува је сваки програм, а не пише свако у више сачуваних корака. Тада већу вредност има разговор у ком аутор може конкретно да објасни садржај и изборе које је направио.

Прочитајте и:

• Kajabi или Thinkific: јефтинији курс може да тражи више алата
• Playwright или Cypress: бржи CI није једини трошак миграције
• Qdrant или pgvector: брзина није једини трошак RAG-а