Harvey Graph שיפר ציון עד 30% — אך המדידה נשארה פנימית

Harvey פרסמה ב־19 באוקטובר 2026 תוצאות מוקדמות של ניסוי פנימי ב־Legal Agent Bench: סוכן משפטי שנעזר ב־Harvey Graph שיפר את שיעור מעבר הקריטריונים בעד 30%, ועלות המשימה ירדה בעד כ־50% לעומת סוכן שפעל ללא גרף ההקשר. הגרף מוסר לסוכן בזמן העבודה קשרים בין תיקים, מסמכים וידע משפטי. המדידה עוסקת בביצועי הסוכן בניסוי, ולא בדיוק שאומת בתיקי לקוחות חיים.

בדוגמה שתיאר הדיווח של Blockchain.News על ניסויי החברה, סוכן שחיפש תקדימים למימון מובטח מתוך קבצים גולמיים קיבל 0% מקריטריוני המשימה, ואילו הסוכן שנעזר בגרף קיבל 75%. במקרה הזה הסוכן הראשון בחר תיק לא מתאים, והשני איתר את התיק ואת הסכמי האשראי והבטוחה החתומים הרלוונטיים. מדובר בדוגמה למשימה מסוימת ובתוצאות שמסרה החברה, ללא אימות עצמאי שפורסם לביצועים בסביבת עבודה.

מה Harvey Graph מוסיף לסוכן המשפטי

הגרף נועד לתת לסוכן מבנה שקשה לשחזר מחיפוש טקסט בלבד: איזה מסמך שייך לאיזה תיק, כיצד גרסאות של הסכם קשורות זו לזו, ואילו אסמכתאות משפטיות קשורות לשאלה שעל הפרק. חיפוש המבוסס על דמיון בין קטעי טקסט יכול להעלות סעיף רלוונטי, אך הקטע לבדו אינו מספר אם הוא נלקח מטיוטה שהוחלפה או מהסכם שנחתם. הקשרים האלה משפיעים על בחירת המקור עוד לפני שהסוכן מתחיל לנסח תשובה.

במוצר המתואר פועלים שני רכיבים נבדלים. גרף הידע של US Case Law ממפה קשרי ציטוט ויחסים בין פסקי דין אמריקאיים; גרף ההקשר של כל Space ממפה קשרים בין תיקים, נתונים ומסמכים שמקורם ב־Vaults ובאינטגרציות. כשסוכן מחפש תשובה, המבנה הזה יכול לכוון אותו מהמסמך שמצא אל התיק שאליו הוא שייך ואל מקורות קשורים. לכן השיפור שנמדד אינו מיוחס לחיפוש יחיד או לפסק דין יחיד, אלא לתצורת סוכן המקבלת הקשר מובנה במהלך המשימה.

למנגנון הזה יש תלות ישירה בהרשאות: קשר מועיל בין תיקים עלול לחשוף מידע שצריך להישאר מחוץ להישג ידו של משתמש מסוים. תיאור המוצר קובע שהגרפים פועלים לפי הגדרות הממשל והאבטחה של ה־Space. בנפרד, עדכוני השיתוף של Spaces מתארים רמות גישה לפי צד וכלים לבדיקת פעילות וגישה במרחבים משותפים. נתוני הניסוי שפורסמו אינם כוללים מדד נפרד לאכיפת חומות אתיות או למניעת מעבר מידע בין תיקים.

איך נבנתה ההשוואה ב־Legal Agent Bench

לפני כל משימה שנבחרה לניסוי, סוכן עבר על המסמכים בתיק הלקוח ובנה גרף של ישויות וקשרים, ובהם צדדים, תאריכים, מעמד של טיוטה לעומת הסכם חתום והקשר בין גרסאות של חוזה. לאחר מכן הושוו ביצועי סוכן עם גרף ההקשר לביצועי סוכן בלעדיו, לפי שיטת הניקוד הרגילה של LAB. ההשוואה בוחנת אפוא תהליך הכולל הכנת גרף ושימוש בו בזמן המשימה; היא אינה מבודדת את השפעת הגרף מכל שאר פעולות הסוכן.

המדד הוא שיעור מעבר של קריטריונים במחוון שנקבע למשימה. קריטריון יכול לתגמל זיהוי של מסמך נכון או של קשר חשוב, גם כאשר בתשובה הכוללת חסרים פרטים אחרים. לכן שיפור בשיעור הזה אינו שקול לשיעור המשימות שהושלמו מתחילתן ועד סופן, ואינו אומר שכל סוגי השגיאות המשפטיות פחתו באותו היקף. ההבחנה חשובה במיוחד בעבודה שבה מסמך נכון אחד אינו מספיק אם חסרים מסמכים נוספים או אם המסקנה אינה נשענת על כולם.

אחת מסביבות LAB היא המשרד הסינתטי Calderwood & Harkness: תיאור מאגר הידע המשרדי מונה בו 266 תיקים, 9,288 קבצים ו־250 משימות, המדורגות באמצעות שופטים המבוססים על מודל שפה מול מחוון ייעודי לכל משימה. המשימות דורשות איתור מידע והסקה מתוך מאגר שבו פרטי התשובה מפוזרים בין קבצים ותיקים. אלה ממדי סביבת הבדיקה המתוארת, ולא מספר המשימות שנכללו בהכרח בניסוי של Harvey Graph. פרסום הניסוי אינו מפרט כמה משימות נבחרו מתוכה.

הדוגמה של איתור הסכמי המימון ממחישה מדוע ההבדל בין קבצים גולמיים לגרף עשוי להשפיע על הניקוד. סוכן שעובר על מסמכים בזה אחר זה צריך להסיק בעצמו איזה תיק הוא האחרון והרלוונטי ואילו הסכמים בו נחתמו. כשהקשרים בין התיק, גרסאות המסמכים ומעמדם כבר זמינים, אפשר להגיע מהר יותר לקבוצת המקורות הנכונה. זו דרך סבירה להסביר את התוצאה שתוארה באותה משימה; מן הדוגמה לבדה אי אפשר להסיק שכך התחלק השיפור בכל המשימות שנבדקו.

מה הציון מלמד על עבודה במשרד אמיתי

התוצאה הפנימית מצביעה על יתרון אפשרי להקשר מובנה במשימות של איתור והצלבת ידע משפטי. עוצמת המסקנה תלויה גם בקבוצת הביקורת: בפרסום הושווה סוכן עם גרף לסוכן ללא גרף, אך לא ניתנו פירוט של הרצות חוזרות, פיזור התוצאות בין סוגי המשימות או ערכי הבסיס שיאפשרו להבין כיצד חושב השיפור המרבי. פער גדול במשימה אחת עשוי להיות חשוב, אך אינו מלמד לבדו עד כמה היתרון עקבי במאגר של משרד אחר.

גם עלות המשימה תלויה באופן שבו הגרף נבנה ומתעדכן. אם ההכנה משמשת משימות רבות באותו תיק, אפשר לחלק את מחירה ביניהן; אם מסמכים וגרסאות משתנים תדיר, נדרשת עבודת עדכון נוספת. ללא פירוט של עלות ההקמה, התחזוקה ומספר המשימות שחלקו אותה, נתון החיסכון המדווח אינו תחזית לתקציב של משרד מסוים. אותה הבחנה נוגעת לזמן העבודה: איתור מהיר של מקור במשימה אחת אינו מודד בהכרח את הזמן הדרוש לשמירה על גרף עדכני לאורך חיי התיק.

עבור צוות משפטי בישראל יש גם גבול ברור לתחום שהוצג: רכיב הפסיקה המתואר נשען על מאגר אמריקאי, והדוגמה המפורטת מתרחשת בסביבת מבחן של ידע משרדי סינתטי. הפרסום אינו מציג תוצאת דיוק נפרדת למסמכים בעברית, לפסיקה ישראלית או לתיקי לקוחות חיים. בדיקה בתנאים כאלה תצטרך להראות לא רק אם הסוכן מוצא מקור מתאים, אלא גם אם הוא שומר על גבולות הגישה בין לקוחות ותיקים כשהמאגר משתנה. אלה הנתונים שיקבעו את משמעות התוצאה עבור עבודה משפטית מקומית.

Harvey מתכוונת להמשיך לפרסם תוצאות כשהניסויים יתקדמו לשימוש בייצור. פרסום שיציג את היקף המשימות, שיעור ההשלמה המלאה, הבדלים בין סוגי תיקים ועלות הגרף לאורך זמן יאפשר לקשור את ציון המעבדה להחלטות על עבודה משפטית בפועל.

קראו גם:

• גלאי AI סימן טקסט אנושי? ציון לבדו אינו הוכחה להעתקה
• פרסום אצל יוצרים שווה 44 מיליארד דולר — המדידה עדיין שבורה