GPTZero یا Originality.ai؛ خطای مثبت کاذب انتخاب را عوض می‌کند

اگر نتیجه آشکارساز قرار است به اتهام تخلف یا رد نوشته یک فرد منجر شود، خطای مثبت کاذب در انتخاب میان GPTZero و Originality.ai وزن بیشتری دارد. در آزمون مستقل Epoch AI، GPTZero هیچ‌یک از ۴۹۵ متن انسانی را به‌اشتباه ماشینی تشخیص نداد و Originality.ai در ۱۹ مورد خطا کرد؛ از ۲۹۷ خروجی مستقیم هوش مصنوعی، به‌ترتیب ۲ و ۱ متن را تشخیص ندادند و هنگام تقلید سبک نویسنده، این تعداد به ۳۲ و ۵۳ رسید. نتیجه به سود GPTZero برای کاهش اتهام اشتباه در همین آزمون است، نه تضمینی برای هر نوشته یا هر نسخه آینده ابزارها.

برای غربال اولیه خروجی خام هوش مصنوعی، عملکرد دو ابزار نزدیک بود. تفاوت مهم‌تر زمانی آشکار می‌شود که یک نوشته واقعی به‌اشتباه علامت بخورد یا متن ماشینی با تقلید سبک از تشخیص بگریزد. معلم، ناشر و مدیر محتوا باید این دو خطا را جدا ببینند: از دست‌رفتن یک متن ماشینی در صف بازبینی با متهم‌کردن نادرست دانشجو یا نویسنده پیامد یکسانی ندارد.

متن انسانی، خروجی مستقیم و تقلید سبک چه تفاوتی نشان دادند؟

خطای مثبت کاذب یعنی نوشته انسان برچسب ماشینی بگیرد. در یک گردش‌کار تحریری، چنین برچسبی ممکن است بازبینی اضافه ایجاد کند؛ در رسیدگی انضباطی، می‌تواند آغازگر اتهامی علیه نویسنده باشد. نبود این خطا در نمونه انسانی Epoch AI برای GPTZero نکته مهمی است، اما نمونه‌های آزمون نمی‌توانند نرخ خطای همه تکلیف‌ها، مقاله‌ها و متن‌های آینده را تعیین کنند.

خطای منفی جهت عکس دارد: متن تولیدشده با هوش مصنوعی انسانی تشخیص داده می‌شود. هر دو ابزار در برابر خروجی‌هایی که از دستور ساده ساخته شده بودند، بیشتر نمونه‌ها را شناسایی کردند. این نتیجه برای غربال متن خام مفید است، ولی به‌تنهایی نمی‌گوید ابزار در برابر نوشته‌ای که با دستور دقیق‌تر، سبک مشخص یا دخالت انسانی پدید آمده چگونه رفتار می‌کند.

در بخش تقلید سبک آزمون، مدل‌های زبانی نمونه‌هایی از نوشته یک نویسنده را دریافت کردند و سپس متن تازه‌ای با همان سبک ساختند. با تغییر شیوه تولید، شمار متن‌های ماشینیِ ازدست‌رفته برای هر دو آشکارساز بالا رفت و GPTZero در این وضعیت کمتر از Originality.ai دچار خطای منفی شد. این مقایسه مربوط به تقلید سبک با نمونه‌های مرجع است؛ ویرایش دستی، ترجمه و بازنویسی با ابزارهای دیگر در آن آزمون سنجیده نشده‌اند.

نوع نوشته نیز بر برداشت از یک میانگین اثر می‌گذارد. مجموعه انسانی Epoch AI از وبلاگ‌نویسی، داستان و نوشته علمیِ منتشرشده پیش از رواج ChatGPT تشکیل شده بود و متن‌های ماشینی نیز در همین حوزه‌ها ساخته شدند. تکلیف کلاسی یا نسخه ویرایش‌شده یک مقاله ممکن است از نظر طول، موضوع و شیوه نگارش با این مجموعه فرق داشته باشد. بنابراین یک عدد کلی «دقت» نمی‌تواند جای مقایسه خطا در نوع متن مورد نظر خواننده را بگیرد.

چرا پژوهش‌های مستقل عددهای یکسانی نمی‌دهند؟

نتیجه آزمون روی نوشته‌های منتشرشده را باید کنار نتیجه آزمون روی نوشته دانشجویان گذاشت، با این تفاوت که جمعیت و روش آن‌ها یکسان نیست. در پژوهش دانشجویان میکروبیولوژی، GPTZero تعداد ۲۴ نوشته انسانی از ۱۵۲ نمونه و Originality.ai تعداد ۲۷ نوشته از ۱۵۳ نمونه را به‌اشتباه علامت زدند؛ حتی با مشکوک شمردن فقط نوشته‌هایی که هر دو ابزار علامت زده بودند، خطای مثبت کاذب ۵٫۲ درصد بود. در این پژوهش، مرز تشخیص بر اساس امتیاز گزارش‌شده ابزارها تعیین شد، در حالی که آزمون Epoch AI از برچسب نهایی هر ابزار در تنظیم پیش‌فرض استفاده کرد.

این اختلاف دلیل نمی‌شود یکی از دو نتیجه کنار گذاشته شود. نوشته منتشرشده پیش از رواج مدل‌های زبانی با پاسخ دانشجویی به یک تکلیف تخصصی از یک جمعیت نمی‌آید؛ افزون بر آن، تبدیل امتیاز به برچسب و نحوه شمارش پاسخ‌های میانی بر نرخ خطا اثر دارد. برای GPTZero، پاسخ «ترکیبی» در روش Epoch AI تشخیص قطعی متن ماشینی محسوب نشد. در نتیجه، مقایسه درصدها بدون توجه به متن ورودی و تعریف خطا ممکن است تصویری دقیق‌تر از آنچه داده‌ها اجازه می‌دهند بسازد.

یک مطالعه کوچک ثبت‌شده در PubMed نیز با بررسی دو متن ساخته‌شده با ChatGPT-4 و یک متن انسانی، پاسخ‌های نامنظم GPTZero درباره منشأ متن‌های ماشینی و شناسایی هر دو متن ماشینی از سوی Originality را گزارش کرد. این مشاهده تفاوت رفتار ابزارها را نشان می‌دهد، اما چنین نمونه کوچکی نرخ قابل اتکایی برای خطای مثبت یا منفی به دست نمی‌دهد. برای تصمیم پرپیامد، شمار و منشأ نمونه‌ها به اندازه نتیجه نهایی اهمیت دارند.

این شواهد درباره نوشته فارسی چه می‌گویند؟

پژوهش‌های یادشده نرخ خطای مستقلی برای نوشته فارسی گزارش نمی‌کنند. از نتیجه آن‌ها نمی‌توان نتیجه گرفت که متن تألیفی فارسی، ترجمه فارسی و نوشته‌ای که فقط با کمک ابزار زبانی ویرایش شده، رفتار یکسانی در GPTZero یا Originality.ai خواهند داشت. منشأ این متن‌ها نیز یکسان نیست: تشخیص نشانه‌های آماری یک نوشته با تشخیص اینکه نویسنده برخلاف قاعده مشخص یک مدرسه یا ناشر عمل کرده است، دو مسئله متفاوت‌اند.

برای مقایسه سازمانی، مجموعه نمونه باید به کاری شباهت داشته باشد که واقعاً بررسی می‌شود: تکلیف همان دوره، نسخه تحریریه یا متن ترجمه‌شده، با منشأ معلوم. ثبت جداگانه خطای مثبت در نوشته انسانی و خطای منفی در متن ماشینی، اختلافی را آشکار می‌کند که یک میانگین واحد پنهان می‌سازد. تا پیش از چنین سنجشی، برتری مشاهده‌شده یک ابزار در آزمون‌های موجود را باید نتیجه‌ای وابسته به همان متن‌ها و همان روش دانست.

امکانات تیمی و اعتبار مصرفی چه اثری بر انتخاب دارند؟

پس از سنجش خطر خطا، شیوه استفاده گروهی اهمیت پیدا می‌کند. صفحه طرح‌های تیمی GPTZero اعتبار مشترک اعضا و صورتحساب یکپارچه را فهرست می‌کند. این امکانات برای مدرسه یا تحریریه‌ای که چند نفر از سهمیه واحد استفاده می‌کنند، اداره حساب و مصرف را ساده‌تر می‌کند؛ درباره صحت برچسبی که روی یک نوشته خاص می‌نشیند چیزی نمی‌گوید.

طبق قواعد اعتبار Originality.ai، بررسی هوش مصنوعی برای هر ۱۰۰ واژه یک اعتبار و بررسی هم‌زمان هوش مصنوعی و سرقت ادبی برای همان حجم دو اعتبار مصرف می‌کند. امکانات مدیریت تیم، بررسی وب‌سایت و اشتراک گزارش نیز در طرح‌های مربوط عرضه می‌شوند. برای ناشری که این کارها را در یک گردش‌کار انجام می‌دهد، ترکیب امکانات می‌تواند در انتخاب مؤثر باشد؛ هزینه واقعی به حجم نوشته و نوع بررسی وابسته است و باید جدا از دقت تشخیص محاسبه شود.

کدام نتیجه برای تصمیم آموزشی یا تحریری قابل دفاع است؟

اگر هدف مرتب‌کردن حجم زیادی متن برای بازبینی بعدی باشد، هر دو ابزار در آزمون خروجی مستقیم نقطه شروع قابل استفاده‌ای نشان دادند و تفاوت امکانات یا مصرف اعتبار ممکن است انتخاب را تعیین کند. اگر برچسب قرار است به رد کار یا رسیدگی انضباطی بینجامد، هزینه خطای مثبت مقدم است. GPTZero در آزمون Epoch AI از این نظر نتیجه بهتری داشت، اما ثبت خطای مثبت برای هر دو ابزار در پژوهش دانشجویان مانع آن است که خروجی هیچ‌کدام حکم قطعی تلقی شود.

سیاست مناسب برای چنین تصمیمی این است که برچسب آشکارساز تنها سبب آغاز بررسی باشد. پیش‌نویس‌ها، تاریخچه نگارش و توضیح نویسنده درباره روند کار می‌توانند روشن کنند متن چگونه پدید آمده است؛ قاعده سازمان درباره استفاده مجاز از هوش مصنوعی نیز باید از پیش معلوم باشد. حتی توافق دو ابزار جای این شواهد را نمی‌گیرد، زیرا هر دو ممکن است یک نوشته انسانی را مشکوک تشخیص دهند. تصمیم نهایی باید به رفتار قابل بررسی و قاعده اعلام‌شده متکی باشد، نه به یک امتیاز.

بیشتر بخوانید:

• RAG را درست ارزیابی کنید؛ یک امتیاز خوب می‌تواند خطای بازیابی را پنهان کند
• Docker یا Podman؛ سرعت تقریباً برابر است، مدل دسترسی تصمیم را عوض می‌کند
• SQLite یا PostgreSQL؛ یک نویسنده سریع است، ۱۶ نویسنده برنده را عوض می‌کنند