גלאי AI סימן טקסט אנושי? ציון לבדו אינו הוכחה להעתקה

גלאי AI יכולים לסמן טקסט אנושי ולהחמיץ טקסט שנוצר במכונה. לכן ציון במסמך יחיד אינו ראיה עצמאית להעתקה או להפרת כללי כתיבה. כדי להבין מה הוא אומר, צריך להבחין בין סוגי השגיאות, לבדוק על אילו טקסטים נמדדו ביצועי הגלאי ולברר כיצד נוצר המסמך הנדון.

מדריך Turnitin לדוח הכתיבה מגדיר את הציון כאומדן לחלקי פרוזה שעשויים להיווצר ב-AI, מבדיל אותו מציון הדמיון למקורות ומזהיר מפני שימוש בו כבסיס יחיד לפעולה נגד סטודנט; ברשימת השפות הנתמכות בדוח מופיעות אנגלית, ספרדית, יפנית וערבית, אך לא עברית. גם כשמסמך נכתב בשפה נתמכת, התוצאה אינה מתעדת מי פיתח את הרעיונות, מי ניסח את הטיוטה ומה הותר לכותב לעשות בעזרת כלי עריכה.

מה הציון מודד, ומה הוא אינו מודד

גלאי טקסט מזהה מאפיינים סטטיסטיים של הניסוח ומחזיר הערכה לפי המודל והסף שנקבעו לו. האחוז המוצג על מסמך מסוים אינו ההסתברות שהכותב רימה. הוא גם אינו שיעור הטעויות של הכלי: את השיעור הזה אפשר למדוד רק על אוסף טקסטים שמקורם ידוע, תוך השוואת הסימונים לתוויות המקור.

יש כאן גם הבדל בין שתי טענות שמרבים לערבב. בדיקת דמיון מחפשת חפיפה בין טקסט למקורות אחרים; גלאי AI מנסה לזהות כתיבה שנראית לו כתוצר של מודל. מסמך עשוי להיות מקורי לחלוטין ולקבל סימון גבוה, או להעתיק קטע ממקור בלי לקבל סימון כזה. אם החשד נוגע לשימוש אסור ב-AI, נדרשת תחילה הגדרה של השימוש האסור: יצירת עבודה שלמה, ניסוח מחדש של טיוטה או סיוע לשוני שהמדיניות דווקא מתירה.

ההבחנה הזאת חשובה במיוחד במסמכים בעברית. תוצאה ממבחן שנערך על תקצירים באנגלית אינה אומדן בדוק של שיעור השגיאות בעברית. גם במוצר שפועל בכמה שפות, תמיכה בשפה אחת אינה מעידה כשלעצמה על ביצועים זהים בשפה אחרת, מפני שסוג הטקסט, מודל הזיהוי וסף ההחלטה עשויים להיות שונים.

למה אחוז דיוק כללי מסתיר את תנאי המבחן

ב מחקר מבוקר על תקצירים אקדמיים באנגלית נבדקו 642 תקצירים מקוריים וגרסאות שנוסחו מחדש בעזרת AI; בסף 0.50, Pangram סימן 80.1% מן הגרסאות שעברו עריכה קלה במדגם המאוחר ו-14.9% מן התקצירים המקוריים בו, ואילו GPTZero סימן 48.5% ו-8.9%, בהתאמה. אלו שיעורי סימון בתנאים מוגדרים, ולא שיעורי שגיאה שאפשר להחיל על כל מסמך.

גם התוויות בניסוי דורשות תשומת לב. הגרסאות שעברו ״עריכה קלה״ התבססו על תקציר אנושי, אך מודל שפה ניסח אותן מחדש; ההנחיה לא הגבילה אותו לתיקוני דקדוק. מוסד שמתיר ניסוח מחדש עשוי לפרש סימון כזה אחרת ממוסד שאוסר אותו. לגבי התקצירים המקוריים מן המדגם המאוחר, החוקרים לא ידעו אם כותביהם נעזרו ב-AI, ולכן שיעור הסימון שלהם אינו שיעור מוכח של חיוביים שגויים.

השוואה הוגנת בין שיעורי הצלחה מחייבת אותו סוג משימה ואותה הגדרה של התשובה הנכונה. מבחן על טיוטות שנוצרו כולן במכונה עשוי להיות קל יותר ממבחן על טקסט אנושי שעבר ליטוש; מבחן על תקציר קצר שונה ממבחן על עבודה ארוכה. שינוי הסף משנה את האיזון בין סימון טקסטים לבין החמצתם. אחוז דיוק כולל מאבד משמעות כאשר אין לצדו פירוט של קבוצות הטקסט, תוויות המקור, הסף וגרסת הגלאי.

מטריצת השגיאות: מי נפגע מכל תוצאה

אפשר לסדר את תוצאות הגלאי לפי שתי שאלות: מהו מקור הטקסט, והאם הכלי סימן אותו. כך מתקבלות ארבע אפשרויות, שלכל אחת משמעות אחרת כשמחליטים אם לפתוח בבירור:

• חיובי נכון: טקסט שנוצר ב-AI סומן. עדיין צריך לברר אם אופן השימוש בו הפר כלל שחל על המשימה.
• חיובי שגוי: טקסט אנושי סומן. זו השגיאה שעלולה להציב כותב בפני חשד שאין לו בסיס בתהליך עבודתו.
• שלילי נכון: טקסט אנושי לא סומן. התוצאה מתאימה למקור הטקסט, אך אינה מתעדת כיצד נכתב.
• שלילי שגוי: טקסט שנוצר ב-AI לא סומן. ציון נמוך עלול להותיר שימוש שהיה טעון גילוי מחוץ לבירור.

המטריצה תלויה גם במדיניות. טיוטה שנכתבה בידי אדם ונוסחה מחדש באמצעות מודל יכולה להיחשב עבודה אנושית עם סיוע מותר, או שימוש אסור, לפי הכללים שנקבעו מראש. הגלאי מסווג את הטקסט שהוגש, לא את הכללים שחלו על הכותב. משום כך שיעור סיווג גבוה במבחן אינו מתורגם אוטומטית ליכולת לקבוע אחריות במקרה יחיד.

יש משמעות גם לשכיחות של כל סוג טקסט בקבוצת הנבדקים. כאשר רוב העבודות נכתבו בידי בני אדם, אפילו שיעור קטן של חיוביים שגויים עשוי ליצור בירורים רבים. כאשר המבחן כולל שיעור גבוה במיוחד של טקסט שנוצר במכונה, אותו גלאי עשוי להציג דיוק כולל מרשים יותר. בלי לדעת כיצד הורכב המדגם, המספר הכולל מסתיר את המחיר המעשי של טעות עבור הכותבים.

כיצד עריכה מקצועית משנה את התוצאה

מחקר על 135,389 זוגות מסמכים באנגלית השווה טקסטים של כותבים שאנגלית אינה שפת אמם לפני עריכה מקצועית ואחריה באמצעות 13 גלאים; העריכה העלתה את ציון ה-AI בחלק מהגלאים והורידה אותו באחרים, והשינוי בציון נטה לגדול ככל שהעריכה הייתה נרחבת יותר. השוואת שתי גרסאות של אותו מסמך מאפשרת לבודד את השפעת שינויי הניסוח טוב יותר מהשוואה בין כותבים ונושאים שונים.

עורך אנושי עשוי לשנות בחירת מילים, מבנה משפטים וזרימת טיעון בלי להעביר אליו את הבעלות על התוכן. אם הגלאי מגיב גם לצורת הכתיבה, גרסה מלוטשת יכולה לקבל ציון אחר אף שמקור העבודה לא השתנה. הדבר רלוונטי במיוחד לכותבים המגישים עבודה באנגלית לאחר עריכה לשונית, אך אין להסיק ממנו שכל עריכה תעלה את הציון או שכל הגלאים מגיבים באותו כיוון.

הבדל בין טיוטה לגרסה סופית עשוי אפוא לסייע בהבנת המסמך יותר מאשר השוואת הציון בלבד. יש לברר אם הוחלפו ניסוחים, אם נוספו טענות חדשות ומי ביצע את השינויים. אותו שינוי בציון יכול להתלוות לעריכה אנושית רגילה, לעריכה באמצעות כלי AI או ליצירת טקסט חדש; המספר לבדו אינו מפריד בין התהליכים הללו.

מה המחיר של צמצום האשמות שווא

חומר ההדרכה של Hong Kong Baptist University המצטט את Turnitin מציג יעד של פחות מ-1% חיוביים שגויים במסמכים מעל סף סימון של 20% כתיבת AI, לצד אפשרות להחמיץ כ-15% מן הטקסט שנכתב ב-AI בתוך מסמך. הנתון על החמצה מתייחס לחלקי טקסט, ולא לשיעור המסמכים השלמים שהכלי מחמיץ. זהו תיאור של תנאי מדידה ויעד של ספק מסוים, ולכן אין להשוות אותו ישירות לשיעורי הסימון של תקצירים במחקר אחר.

סף שנועד להקטין את הסיכון לסימון שווא יכול להגדיל את הסיכון להחמצה. זו פשרה חשובה במיוחד כשסימון מוביל לבירור משמעתי או לפגיעה במוניטין של כותב. מוסד שמציג שיעור שגיאה צריך להבהיר על איזה טקסט הוא נמדד, איזו תוצאה נחשבה לטעות ואיזו פעולה מותר לנקוט בעקבות ההתראה. ללא התנאים האלה, הבטחת דיוק אינה אומרת מספיק על ההחלטה שמתקבלת בפועל.

בירור הוגן לפני האשמה

נקודת המוצא היא הכלל שחל על המשימה בזמן כתיבתה: האם נאסרה יצירה באמצעות AI, האם הותרו תרגום או עריכה, והאם נדרש גילוי על הסיוע. אחר כך יש לברר אם הגלאי מתאים לשפה, לאורך ולסוג המסמך שהוגש. תוצאה על טקסט שאינו עומד בתנאי הכלי, או בשפה שלא נכללה בבדיקת ביצועיו, אינה בסיס סביר לקביעה על הכותב.

אם יש מקום להמשך בירור, יש לשמור את הדוח ואת הקטעים שסומנו, לתעד את גרסת הכלי ולתת לכותב הזדמנות להסביר את תהליך העבודה. טיוטות קודמות, היסטוריית גרסאות, הערות עורך ומקורות ששימשו לכתיבה עשויים להראות כיצד התפתח הטקסט. בשיחה על עבודה אקדמית אפשר לבקש הסבר על בחירות הטיעון והמקורות; אצל מעסיק או במערכת תוכן יש להתייחס להנחיות שהיו ידועות לכותב מראש.

הכרעה צריכה לציין את המעשה הנטען ואת הראיות התומכות בו, ולהבחין בין כתיבה אנושית מלוטשת, סיוע מותר ויצירת תוכן בניגוד לכללים. סימון של גלאי עשוי להצדיק בירור ממוקד, אך אינו מחליף עדות על דרך העבודה או על מקור הטקסט.

קראו גם:

• Jobscan או Teal: ציון ATS עמוק מול ניהול חיפוש עבודה שלם
• 90% רוצים IT אוטונומי — 77% עדיין דורשים אישור אנושי
• דמות משתנה בכל תמונה ב־Leonardo AI? Seed קבוע לבדו לא מספיק