Gemini או Perplexity למחקר עמוק: דיוק המקורות שובר את התיקו

|כותב: מערכת QUASA|5 דק׳ קריאה| 1
Gemini או Perplexity למחקר עמוק: דיוק המקורות שובר את התיקו

למחקר המבוסס בעיקר על מקורות פומביים, תצורת Perplexity Deep Research שנבחנה היא נקודת פתיחה חזקה יותר מ־Gemini Deep Research: ב מבחן DRACO, התצורה עם Opus 4.6 קיבלה ציון מנורמל של 67.9% בדיוק עובדתי לעומת 54.9% ל־Gemini, והובילה גם באיכות הציטוטים. זהו יתרון של תצורות שנבדקו במשימות המבחן, ולא הבטחה שכל דוח עתידי של Perplexity יהיה מדויק יותר.

כאשר השאלה נשענת על התכתבויות ב־Gmail ועל קבצים ב־Drive, הבחירה עשויה להשתנות. הוראות Deep Research של Google מאפשרות לבחור בחומרים האלה כמקורות, אם החיבור ל־Google Workspace פעיל, וגם להעלות קבצים. לכן השאלה המעשית היא גם איזה כלי יכול להגיע למידע הדרוש, וגם עד כמה אפשר לסמוך על הטענות שהוא מפיק ממנו.

מה נמדד בארבעת צירי ההשוואה

הציון הכולל מסתיר הבדלים שחשובים למי שמסתמך על הדוח. בדיוק העובדתי קיבלה תצורת Perplexity עם Opus 4.6 ציון של 67.9% לעומת 54.9% ל־Gemini. ברוחב ובעומק הניתוח הציונים היו 66.0% מול 59.9%; באיכות ההצגה 90.3% מול 87.1%; ובאיכות הציטוטים 64.6% מול 51.5%. תצורת Perplexity עם Opus 4.5 הגיעה דווקא לציון הגבוה ביותר בעומק וברוחב, 73.1%. כך אפשר לראות שהחלפת מודל הבסיס משנה את התמונה גם בתוך אותו שירות.

איכות ההצגה היא הציר החזק ביותר אצל שתי התצורות המרכזיות בהשוואה, אך הפער בו קטן מן הפער באיכות הציטוטים. דוח מסודר יכול אפוא להיראות אמין גם כאשר חלק מהקשרים בין טענה למקור חלשים יותר. ציוני האחוזים כאן הם ציוני מחוון מנורמלים: הם משקללים קריטריונים שהוגדרו לכל משימה, ואינם מציינים איזה שיעור מכל המשפטים בדוח נכון.

דיוק עובדתי ואיכות ציטוטים בוחנים בעיות שונות. טענה יכולה להיות נכונה, אך להיתמך בקישור שאינו המקור המתאים; קישור יכול להפנות למסמך רלוונטי בלי שהמסמך יקבע את מה שהדוח מייחס לו. לכן היתרון בציטוטים חשוב במיוחד כאשר הקורא צריך להשתמש בדוח כבסיס לעבודה אקדמית, להערכת מוצר או להחלטה עסקית, ולא רק לקבל סקירה קריאה.

למה התוצאה אינה דירוג קבוע של המוצרים

המשימות במבחן נגזרו מבקשות למחקר עמוק במערכת של Perplexity, לאחר סינון ועיבוד, והחוקרים החתומים עליו הם ברובם אנשי החברה. ההערכה בדקה תוצרים של מערכות שלמות: Gemini הופעל דרך גרסת תצוגה מקדימה של ממשק המחקר, בעוד Perplexity הופעל דרך מערכת הייצור עם מודל בסיס מוגדר. התוצאה משקפת את השילוב של תכנון המחקר, אחזור המקורות, המודל וכתיבת התשובה; אי אפשר לייחס את כל הפער למודל לבדו.

יש גם גבול לשימוש בציונים עבור קוראים בישראל. משימות ההערכה נערכו באנגלית, והמבחן בחן אינטראקציה אחת לכל משימה. הוא אינו מודד ישירות דוח בעברית, מחקר שמתפתח בשיחה ממושכת או עבודה עם מסמכים פרטיים של משתמש מסוים. אלה סיבות להתייחס ליתרון שנמדד כראיה מועילה לבחירה ראשונית, ולא כתחזית מדויקת לתוצאה בכל נושא.

מסמכים אישיים משנים את נקודת ההשוואה

ב־Gemini אפשר להתחיל מחיפוש Google, המוגדר כמקור כברירת מחדל, ולהוסיף אליו Gmail, Drive או קובץ שהועלה. אפשר גם להסיר את חיפוש Google מבחירת המקורות כדי למקד את המחקר בחומר שנבחר. אם השאלה היא, למשל, אילו החלטות תועדו בהתכתבות צוות וכיצד הן מתיישבות עם מפרט ב־Drive, גישה ישירה לשני סוגי החומר עשויה לחסוך העתקה ידנית ולשמור על ההקשר שבו נכתבו הדברים. זו יכולת גישה למקורות, לא ראיה לכך שהפרשנות של Gemini למסמך פרטי מדויקת יותר.

גם Perplexity אינה מוגבלת לרשת הפתוחה. תיאור Deep Research ב־Computer מציג שילוב של קבצים ויישומים עם מקורות מהאינטרנט והפקת דוח מצוטט; החברה מתארת תהליך של אלפי צעדי אחזור על פני מאות מקורות. זהו תיאור של המוצר, ולא מדידה עצמאית של איכות כל דוח. יתרה מזו, Deep Research בתוך Computer אינו בהכרח אותה תצורה של Perplexity שנבחנה במבחן. כשמשווים את האפשרויות הזמינות בחשבון, צריך להבחין בין יכולת המוצר לגשת לקובץ לבין הציון שקיבלה תצורה מסוימת בבדיקה.

פרטיות והרשאות הן חלק מבחירת המקורות

חיבור תיבת דואר או העלאת קובץ מוסיפים הקשר למחקר, אך גם מוסרים תוכן לשירות. ב הסבר הפרטיות של Gemini נאמר שכיבוי שמירת הפעילות מונע שימוש בשיחות עתידיות לאימון המודלים, בכפוף לחריג של משוב שנשלח, אך חיבורי Workspace אינם זמינים במצב זה. שיחות עתידיות עדיין נשמרות לזמן מוגבל לצורך מתן השירות והגנה עליו. חשבון עבודה או לימודים עשוי להיות כפוף לתנאי טיפול אחרים, ולכן אין להסיק מהגדרה בחשבון אישי מה מותר בארגון.

ב־Perplexity ההבחנה המרכזית היא בין מסלולים. השוואת המסלולים של Perplexity מתארת אפשרות לבטל איסוף נתונים בהגדרות של Pro, Education Pro ו־Max, ולעומת זאת קובעת שבמסלולי Enterprise Pro ו־Enterprise Max הנתונים אינם נרשמים או משמשים לאימון. כשחומר המחקר רגיש, הרשאת הארגון ותנאי החשבון קודמים ליתרון כלשהו בציון המחקר. ציון איכות של דוח אינו מעניק רשות לשתף מסמך פנימי.

מה הופך ציטוט לאסמכתא טובה

הבדיקה המועילה ביותר מתמקדת בטענות שעליהן נשענת המסקנה, ולא במספר הקישורים בדוח. עבור כל טענה כזאת, יש לפתוח את הקישור ולוודא שהמקור מתייחס לאותו מוצר או אירוע, לאותה תקופה ולאותה אוכלוסייה. כדאי להבחין גם בין מסמך ראשוני לבין עמוד שמסכם מסמך אחר: סיכום עשוי להשמיט תנאי שמשנה את משמעות הנתון.

נניח, כדוגמה מותנית, שדוח קובע שתכונה זמינה לכל המשתמשים בישראל. קישור להכרזה על ניסוי מוגבל במדינה אחרת לא יבסס את הטענה, גם אם שם התכונה מופיע בו במדויק. באותו אופן, טבלת ציונים של גרסת מחקר ישנה אינה אסמכתא לביצועים של גרסה אחרת. ההתאמה בין הניסוח בדוח לבין מה שהמקור באמת קובע היא ההבדל בין ציטוט שימושי לבין קישור שנותן רק מראית עין של ביסוס.

מטריצת בחירה לפי המשימה

  • מקורות פומביים וחשיבות גבוהה לדיוק ולציטוטים: תצורת Perplexity שנבחנה מציעה נקודת פתיחה טובה יותר, אך יש לבדוק איזו תצורה זמינה בפועל.
  • מחקר הנשען על Gmail ו־Drive: Gemini מתאים כאשר חיבור Workspace פעיל והגישה לחומרים מותרת בחשבון ובארגון.
  • שילוב של קבצים פרטיים ורשת: שני המוצרים רלוונטיים; ההכרעה תלויה בחיבורים הזמינים, בהרשאות וביכולת לקשור כל טענה חשובה למקור שלה.
  • חומר ארגוני רגיש: תנאי הטיפול בנתונים ומדיניות הארגון קובעים אילו מקורות מותר למסור לכל שירות, לפני השוואת איכות הדוחות.

קראו גם:

שיתוף:

הירשמו לניוזלטר שלנו

קבלו את החדשות האחרונות על Web3, ‏AI וקריפטו ישירות לתיבת הדואר.

0