ChatGPT Search או Perplexity: ציטוט אינו מבטיח שהמקור תומך בטענה

בין ChatGPT Search ל־Perplexity, הבחירה למחקר שוטף צריכה להישען על איכות ההפניה לטענה, לא על מספר הציטוטים בתשובה. ב תיאור Pro Search של Perplexity מוסבר שהשירות מבצע כמה חיפושים, מסנתז מידע ממקורות ומציג קישורים ישירים. התהליך הזה עשוי להקל על איתור חומר, אך עצם הופעתו של קישור אינה מראה מה כתוב בדף שאליו הוא מוביל.

גם ChatGPT Search מאפשר להגיע ממענה למקור: הנחיות OpenAI לחיפוש ברשת מתארות ציטוטים שאפשר לפתוח ורשימת מקורות כשהיא זמינה. באותו הסבר מצוין שתוצאות וציטוטים עשויים להיות חלקיים, מיושנים או שגויים. לכן השאלה המכריעה בשני השירותים היא אם הקישור מוביל לפרסום המתאים ואם הפרסום תומך במשפט המסוים, לרבות התאריך והסייגים שבו.

מה אפשר ללמוד מצורת החיפוש והצגת המקורות

Pro Search בנוי סביב חיפוש, סינתזה והפניה למקורות. ChatGPT Search משלב חיפוש ברשת בתוך שיחה, ויכול להציג ציטוטים בגוף התשובה וקישורים נוספים ברשימת מקורות. ההבדל המעשי לחוקר הוא הדרך שבה עוברים ממשפט בתשובה אל הדף שאמור לבסס אותו: האם ברור לאיזו טענה שייכת כל הפניה, והאם אפשר להגיע באמצעותה למידע הרלוונטי בלי לנחש בין כמה דפים.

השוואה הוגנת דורשת להבחין גם במצב הפעולה. תשובה רגילה של ChatGPT, שלא הופעל בה חיפוש, אינה שקולה לתשובה של ChatGPT Search; תיאור של Pro Search אינו תיאור של כל מצב אחר ב־Perplexity. כשבוחנים את השירותים לצורך קבוע, כדאי להשתמש באותו סוג משימה ולוודא ששניהם אכן חיפשו ברשת. אחרת משווים בעיקר את הגדרות הבדיקה, ולא את יכולתם למצוא ולהציג ראיות.

נוחות הצפייה חשובה, אבל היא מודדת דבר אחר מאיכות המקור. רשימת קישורים עשירה יכולה לעזור לגלות כיווני מחקר, ואילו ציטוט סמוך למשפט יכול לקצר את הדרך לבדיקה. בשני המקרים עדיין צריך לברר אם הדף שנפתח הוא הפרסום המקורי, אם הוא עדכני לצורך השאלה, ואם המילים שבו תומכות בקביעה שנוסחה בתשובה.

קישור תקין, מקור מתאים ותמיכה בטענה הם שלוש בדיקות שונות

קישור יכול להיפתח בהצלחה ולהיכשל כראיה. הוא עשוי להוביל לעמוד הבית של מוסד במקום למסמך המבוקש, לסיכום של דיווח במקום לדיווח הראשון, או לפרסום שעוסק באותו נושא אך בתקופה אחרת. גם מקור סמכותי אינו מאשר אוטומטית כל משפט שמפנים אליו. כדי לבסס טענה צריך למצוא בדף את הנתון או הקביעה עצמם ולבדוק שהנושא, תחום התחולה וההסתייגויות נשמרו.

מחקר המשתמשים בכנס FAccT תיאר הפניות למקורות שלא תמכו בטענה שיוחסה להם, וכן מקרים שבהם מנועי תשובות הציגו יותר מקורות מכפי ששולבו בפועל בתשובה. בין השירותים שנבחנו היה Perplexity, לצד שירותים אחרים; המחקר אינו השוואת ביצועים עדכנית בינו לבין ChatGPT Search. הממצא הרלוונטי לבחירה יומיומית הוא הפער האפשרי בין נוכחותו של ציטוט לבין הקשר שלו למשפט שלצדו.

דוגמה מסוג אחר הופיעה ב בדיקה העיתונאית של The Atlantic: בחיפושים ב־ChatGPT וב־Perplexity הופיעו לעיתים הפניות שבורות, קישורים לעמוד שגוי והפניות לסיכומים במקום לפרסום המקורי. הבדיקה נערכה לפני השקת ChatGPT Search, ולכן אינה מדרגת את הגרסאות הנוכחיות של שני השירותים. היא ממחישה מדוע תשובה שמזהה נכון את שם המפרסם עדיין עלולה להוביל את הקורא למקום הלא נכון.

פרוטוקול השוואה שאפשר לשחזר

בחירה למחקר קבוע צריכה לשקף את השאלות שבאמת חוזרות בעבודה: עובדה ממוקדת, נושא שמחייב הצלבה בין פרסומים, ושאלה על גוף או מסמך ישראלי בעברית. נסחו את אותן שאלות לשני השירותים והפעילו חיפוש בכל אחד מהם. שמרו את נוסח השאלה, מועד ההרצה והתשובה שהתקבלה; כך אפשר לחזור להפניה גם אם הדף או התשובה ישתנו בהמשך.

לכל תשובה בחרו טענות שעליהן תישען המסקנה שלכם, כגון תאריך של החלטה, היקף של נתון או ייחוס עמדה לגוף מסוים. בדקו כל טענה באותו סדר בשני השירותים:

1. הקישור: האם הוא נפתח ומגיע לפרסום המסוים שהציטוט מבטיח, או לעמוד כללי, לעותק חלקי או לשגיאה? רשמו את הכתובת שנפתחה בפועל.
2. המשפט: האם בדף מופיעה תמיכה בקביעה המדויקת? בדקו במיוחד מי פעל, מה קרה, על מי חל הנתון, והאם המקור מדבר על כוונה, הודעה רשמית או תוצאה שכבר התרחשה.
3. התאריך: מתי פורסם המקור, ולאיזו תקופה מתייחס המידע שבתוכו? תאריך עדכון של דף אינו מבטיח שכל הנתונים הישנים בו הוחלפו.
4. המקור הראשוני: האם ההפניה מגיעה לגוף שפרסם את הנתון או המסמך, או לכתבה שמסכמת אותו? מקור משני עשוי לתת הקשר מועיל, אך לצורך ייחוס מדויק חשוב לדעת היכן הופיעה הקביעה לראשונה.

סמנו לכל טענה תמיכה מלאה, תמיכה חלקית או היעדר תמיכה, וציינו בקצרה מדוע. תמיכה חלקית פירושה למשל שהדף מאשר את האירוע אך אינו מאשר את ההיקף שיוחס לו, או שהוא מדבר על תקופה שונה. זו הבחנה מועילה יותר מסימון בינארי של קישור כתקין או שבור: היא מראה אם הבעיה היא בכתובת, בבחירת המקור או בניסוח התשובה.

אין צורך להפוך את הבדיקה לספירת כל הקישורים בתשובה ארוכה. אם כמה הפניות מובילות לעותקים של אותו דיווח, הן אינן כמה ראיות עצמאיות. לעומת זאת, הפניה יחידה למסמך מקורי שתומך בדיוק בטענה מרכזית יכולה להיות שימושית יותר מרשימה מרשימה למראה של סיכומים. השוו את שיעור הטענות החשובות שאפשר לבסס, ושמרו בנפרד את ההתרשמות מנוחות השימוש.

מה משתנה בשאלות בעברית ועל ישראל

במחקר מקומי, זהות המקור אינה רק עניין של מוניטין. טענה על החלטת רשות, נתון ציבורי או פרסום אקדמי עשויה להגיע דרך סיכום באנגלית אף שהמסמך הקובע נכתב בעברית. אם התשובה משתמשת בשם מתורגם של מוסד או של הליך, בדקו שהשם, תחום הסמכות והתאריך תואמים למסמך הישראלי שאליו התכוונתם. התאמה בנושא הכללי אינה מספיקה כאשר המסקנה תלויה בפרט משפטי או מנהלי.

אפשר להריץ את אותה שאלה בעברית ובניסוח מקביל באנגלית, ולבחון אם שינוי השפה מוביל לפרסום מקורי או רק מוסיף סיכומים של אותו מידע. השאירו בשני הניסוחים שם רשמי בעברית כאשר הוא דרוש לזיהוי המסמך. זו בדיקה של מסלול הגילוי של כל שירות, ולא הנחה שאחת השפות מניבה תמיד תוצאות טובות יותר.

אם כבר נמצא מסמך מקורי, בקשה לסכם אותו בוחנת יכולת אחרת: האם השירות קורא ומייצג נאמנה חומר שסופק לו. היא אינה מלמדת אם היה מוצא את המסמך בעצמו. הפרדה בין גילוי המקור לבין פירושו חשובה במיוחד כשבוחרים כלי למחקר חוזר, משום ששירות עשוי להצטיין באחת המשימות ולהזדקק לבדיקה צמודה יותר באחרת.

איך להכריע בין השירותים

בחרו לפי תוצאות הבדיקה על סוג השאלות שלכם. למחקר שמתחיל באיתור פרסומים, תנו משקל לקישור שמגיע למקור הראשוני ולבהירות הקשר בינו לבין הטענה. לעבודה שממשיכה לשאלות המשך ולניתוח חומר שכבר נמצא, בדקו גם את רצף העבודה בשיחה. נוחות, מהירות ומספר הפניות הם שיקולי שימוש; הם אינם תחליף לבדיקת התמיכה בטענות שעליהן תסתמכו.

הנחיות OpenAI לבדיקת תשובות ממליצות לאמת ציטוטים, נתונים והפניות למסמכים באמצעות פתיחת הקישורים. אותו מבחן מתאים לבחירה בשני השירותים: היתרון האמיתי הוא היכולת להגיע במהירות לראיה הנכונה ולראות שהיא אומרת את מה שהתשובה מייחסת לה.

קראו גם:

• Gemini או Perplexity למחקר עמוק: דיוק המקורות שובר את התיקו
• ייצוא Slack אינו גיבוי מלא: הקבצים נשארים מאחורי קישורים
• Redis או Valkey: אותו פרוטוקול לא מבטיח קובץ גיבוי תואם