מה נבדק בסקירה
מאז שהושק ChatGPT בנובמבר 2022 מרצים ומוסדות אקדמיים מחפשים דרך לזהות טקסטים שנוצרו על ידי בינה מלאכותית, וחברות רבות הציעו לשם כך כלי זיהוי. השאלה היא עד כמה אפשר לסמוך עליהם. סקירה ספרותית שפורסמה בשנת 2024 בכתב העת Journal of Applied Learning and Teaching ניסתה לענות על כך באופן שיטתי. החוקר חיפש בין אוקטובר לנובמבר 2023 בארבע עשרה פלטפורמות שונות, ובהן מנועי חיפוש, מאגרי מידע אקדמיים ורשתות חברתיות מדעיות. מתוך יותר משבעת אלפים וחמש מאות תוצאות ראשוניות נבחרו לבסוף שבעה עשר מאמרים שעמדו בכל הקריטריונים, באמצעות גרסה מותאמת של פרוטוקול PRISMA ובכלי הערכת איכות המבוסס על AMSTAR. כותבי המאמרים הגיעו משתים עשרה מדינות, ובהן הודו, ארצות הברית, צרפת, דרום אפריקה ואוסטרליה, והתחומים שבהם התפרסמו כללו בעיקר מדעי הרפואה, מדעי הטבע ובלשנות אנגלית. רוב המחקרים בחנו טקסטים שנוצרו בעיקר בידי ChatGPT בגרסאות 3.5 ו־4, לצד טקסטים שכתבו בני אדם, ולעיתים גם גרסאות מתורגמות, משוכתבות או ערוכות קלות של הטקסט שנוצר. בכל מחקר נבדקו בין שניים לשישה עשר כלים, ולכן יש כאן בסיס רחב להשוואה, שמאפשר לראות לא רק מי הצליח אלא גם באילו תנאים. חשוב לציין שמדובר בסקירה של מחקרים קיימים ולא בניסוי חדש, ולכן הערך שלה הוא בראייה הכוללת: היא מראה אילו מסקנות חוזרות בכמה מחקרים בלתי תלויים, ואילו ממצאים הם מקריים או תלויי הקשר.
אילו כלים הצליחו ואילו לא
בין הכלים שנחשבו לטובים ביותר נמנו Crossplag ו־Copyleaks, ואילו Duplichecker ו־Writer נחשבו לחלשים ביותר. עם זאת, הביצועים לא היו עקביים: כלי שהצליח בהקשר אחד נכשל באחר. גם OpenAI Text Classifier, שנחשב לכלי מרכזי, הראה תוצאות לא עקביות והופסק על ידי החברה שפיתחה אותו. כלים רבים טעו בשני הכיוונים, כלומר סימנו טקסט אנושי כמלאכותי וההפך, וחלקם נכשלו מול מניפולציות פשוטות כמו שינוי סימני פיסוק, החלפת מילים נרדפות או תרגום. תוכנות מסורתיות לבדיקת פלגיאט, כמו Turnitin ו־Grammarly, לא זיהו טקסטים שנוצרו בבינה מלאכותית, משום שהן מחפשות התאמות בין טקסטים ולא מנתחות סגנון או תחביר. מחצית מהמאמרים בסקירה הצביעו במפורש על בעיה מהותית בכלי הזיהוי שנבחנו, ולא רק על חולשה נקודתית אצל כלי מסוים. המשמעות היא שגם כלי שקיבל ציון גבוה בניסוי אחד אינו מבטיח תוצאה אמינה בבדיקה הבאה, ושמי שמסתמך על ציון יחיד עלול להאשים תלמיד חף מפשע או לפספס טקסט שנוצר במכונה.
מה עושים עם זה בפועל
המסקנה המרכזית היא שאין להסתמך על כלי אחד בלבד. מומלץ לשלב כמה כלי זיהוי, מסורתיים וייעודיים, יחד עם שיפוט אנושי של מעריכים מוסמכים. המחבר מדגיש גם את הצורך בהדרכה דיגיטלית לאנשי סגל ובהתאמת מדיניות ההערכה לעידן הבינה המלאכותית. נקודה חשובה במיוחד לדוברי עברית היא שרוב הכלים מבוססים על אלגוריתמים חד־לשוניים ולכן מתקשים עם טקסטים שאינם באנגלית, כך שתוצאה של כלי זיהוי על עבודה בעברית ראויה לזהירות כפולה. בפועל כדאי שמוסדות יקבעו נוהל ברור: תוצאה של כלי זיהוי היא סיבה לבדוק לעומק, ולא הוכחה. הבדיקה כוללת שיחה עם הכותב, עיון בגרסאות קודמות של העבודה והשוואה לכתיבה קודמת שלו, ורק אחר כך החלטה. גישה כזו מקטינה את הסיכון לטעויות ופוגעת פחות באמון בין סטודנטים למרצים.