GPTZero eller Originality.ai: falska träffar kan vända valet

Om en felaktig AI-anklagelse är den dyraste risken är GPTZero den rimligare utgångspunkten enligt Jabarian och Imas jämförelse; Originality.ai rangordnade däremot AI-text och människotext bättre i deras mått. Valet beror på vilket slags fel som får störst följder. Ett utslag från någon av tjänsterna bör bara inleda mänsklig granskning, särskilt när betyg, anställning eller publicering står på spel.

I Epoch AI:s test felmärkte GPTZero ingen av 495 människoskrivna passager och Originality.ai 19; av 297 AI-passager som imiterade en författares stil missade de 32 respektive 53. Det stärker skälet att börja med GPTZero där en falsk anklagelse väger tungt, men visar samtidigt att ett friande utslag kan släppa igenom AI-text. Valet måste också ta hänsyn till svenska texter och vad varje färdigbedömd text kostar.

Varför mätningarna ger olika svar

En falsk positiv är människoskriven text som klassas som AI. En falsk negativ är AI-text som passerar som människoskriven. Den första kan drabba en skribent direkt; den andra kan göra att ett krav på eget arbete eller en redaktionell policy inte följs. En sammanlagd träffsäkerhet döljer vilken av dessa följder som dominerar.

Det ena forskarlaget analyserade hur detektorernas sannolikhetsvärden skiljer texterna åt vid olika beslutströsklar. Det andra utgick från tjänsternas vanliga dokumentutslag och räknade även ett blandat utslag som missad AI när hela provtexten var genererad. Därför är rangordningsförmåga och antal fel vid standardinställningen svar på skilda frågor. En tjänst kan placera AI-texter högre i genomsnitt men ändå ge fler felaktiga markeringar vid den gräns användaren faktiskt möter.

Textmaterialet skiljer sig också. Provet med stilimitation byggde på längre passager ur bloggar, skönlitteratur och vetenskapliga texter; AI fick efterlikna en författares tidigare skrivsätt. Den som granskar korta produkttexter eller elevsvar kan inte överföra dessa utfall rakt av. Skillnaden mellan enkla AI-utkast och stilimiterad text visar varför innehållet i det egna arbetsflödet är viktigare än en enda procentsats.

En felmatris för skola, rekrytering och publicering

Valet blir tydligare när varje fel kopplas till sin följd och sin kontrollkostnad. Bedöm därför samma textflöde i tre led:

• Falsk positiv: Vad händer om en människa felaktigt misstänks? För en elev eller arbetssökande kan en sådan markering kräva en tidskrävande utredning och påverka förtroendet redan innan felet rättas.
• Falsk negativ: Vad händer om AI-text passerar? En utgivare med avtal om mänskligt originalarbete kan behöva lägga mer vikt vid missade texter än en verksamhet där AI-stöd är tillåtet och öppet redovisat.
• Granskning: Hur många utslag behöver en person utreda, och vilka underlag finns? Ett lågt abonnemangspris hjälper föga om varje osäker markering kräver omfattande efterarbete.

Som villkorat exempel kan en skola sätta mycket hög kostnad på falska anklagelser och hellre låta några AI-texter gå vidare till vanlig lärarbedömning. En redaktion med ett uttryckligt leveransvillkor kan göra en annan avvägning, men även där måste skribenten kunna visa utkast, källarbete och redigeringar. Detektorernas resultat ändrar prioriteringen för granskningen; de avgör inte vem som skrev texten.

Priset måste räknas på färdiggranskade texter

Originality.ai:s prislista anger 14,95 dollar per månad för Pro vid månadsbetalning, 2 000 krediter per månad och en kredit för AI-kontroll av 100 ord; oanvända abonnemangskrediter löper ut vid månadens slut. Rent aritmetiskt räcker potten till 200 000 ord om varje kredit går till enbart AI-kontroll och hela volymen används. Andra kontroller ökar kreditåtgången.

GPTZeros plansida anger 500 000 ord per medlem och månad i Professional Team samt minst två platser, men den publika sammanställningen ger ingen tillförlitlig totalsumma för en vald teamkonfiguration. En gräns per medlem och en kreditpott kan därför inte jämföras som om de vore samma styckpris. För ett svenskt team behöver platsantal, betalningsperiod och faktisk användning ingå i kalkylen innan ett abonnemang går att värdera.

Räkna därefter pris per text som faktiskt kan avslutas efter eventuell granskning. Om många korta texter flaggas blir arbetstiden en betydande kostnad även när ordkvoten ser generös ut. Om texterna är långa och få kan volymgränsen spela större roll. Den relevanta jämförelsen är den totala kostnaden för det egna flödet, inte bara priset på plansidan.

Svenska och korta format kräver egna prov

Originality.ai:s språkguide listar svenska och beskriver ett särskilt flerspråkigt val vid skanning. Stöd för språket är en funktion, inte en uppmätt felandel för svenska elevuppsatser, ansökningar eller redigerad webbtext. De jämförda forskningsresultaten ovan ger ingen separat svensk felstatistik som kan användas som garanti i dessa miljöer.

Textlängd påverkar också vad ett utslag betyder. En kort ingress ger mindre språkligt underlag än en hel artikel, och för mycket korta stycken kan tjänsternas svar eller förmåga att hitta AI avvika kraftigt från längre prov. Genre och redigering ändrar dessutom det material som modellen får bedöma. Det är därför mer relevant att prova svenska texttyper i den längd de faktiskt lämnas in än att överföra resultat från långa provpassager till varje enskilt användningsfall.

Ett lokalt jämförelseprov bör innehålla texter med känt ursprung: människoskrivna original, tydligt AI-genererade utkast och bearbetade varianter. Fördela dem efter de genrer verksamheten möter och räkna falska positiva och falska negativa var för sig. Bevara också de oklara utslagen som en egen kategori i arbetsflödet; att pressa dem till ett ja eller nej ger en förenklad bild av det arbete som väntar.

Utslaget är början på bedömningen

Bestäm i förväg vilken markering som leder till en andra bedömning och vilket underlag den bedömningen får använda. I undervisning kan versionshistorik, utkast och en saklig dialog om skrivprocessen ge mer sammanhang än ett detektorvärde. Vid publicering kan uppdragets villkor, källor och tidigare redigeringar undersökas. Samma princip gäller vid rekrytering: den berörda personen behöver möjlighet att förklara hur texten kom till.

Om tjänsterna ger olika svar är det en signal om osäkerhet, inte en omröstning där majoriteten blir bevis. Dokumentera därför både det tekniska utslaget och grunden för det mänskliga beslutet. Där falska anklagelser kan få stora följder bör ribban för ingripanden vara hög; där missad AI-text kostar mer kan fler texter skickas till granskning. Ett ensamt detektorvärde är aldrig ett tillräckligt beslutsunderlag.

Läs också:

• ISK eller kapitalförsäkring: utländsk utdelning kan avgöra valet
• Gratis produkt kan ge skatt – även om inlägget aldrig publiceras
• Etsy eller Shopify: en svensk order kan kosta mer än procentsatsen visar