Subquadratic בסקירה ב-Quasa: מודל ה-LLM התת-ריבועי הראשון

#Quasa #QUA #subquadratic

Subquadratic היא חברת מחקר ותשתיות בחזית תחום ה-AI, המפתחת סוג חדש של מודלי שפה גדולים. מודל הדגל שלה, SubQ, הוא מודל ה-LLM הראשון שנבנה על ארכיטקטורת קשב דליל תת-ריבועית לחלוטין. בניגוד למודלי Transformer מסורתיים, שדרישות המשאבים שלהם גדלות באופן ריבועי עם אורך ההקשר ($O(n^2)$), דרישות המשאבים של SubQ גדלות באופן ליניארי ($O(n)$), מה שהופך הסקה על פני מיליוני טוקנים למעשית ויעילה.

SubQ תוכנן במיוחד למשימות עם הקשר ארוך. הוא יכול לעבד מאגרי קוד שלמים, היסטוריות ארוכות של סוכנים, בקשות משיכה שהצטברו במשך חודשים ומצבים הנשמרים לאורך זמן, והכול בפרומפט יחיד ללא ירידה באיכות. המודל תומך כיום בחלונות הקשר של עד 12 מיליון טוקנים ומציג ביצועים חזקים הן במבחני שליפה מתוך הקשר ארוך והן במבחני הסקה כללית. בהקשר של 1 מיליון טוקנים, SubQ דורש הרבה פחות משאבי חישוב (לטענת החברה, פי 64.5 פחות מקשב צפוף) ופועל מהר משמעותית ממנגנוני קשב רגילים.

החברה מתמקדת בעיקרון שלפיו “יעילות היא אינטליגנציה.” באמצעות פתרון צוואר הבקבוק הריבועי ברמת הארכיטקטורה, Subquadratic שואפת לאפשר דור חדש של סוכני AI שיוכלו לעבוד באמת עם כמויות גדולות של הקשר, במקום להסתמך על חלוקה למקטעים, סיכום או פתרונות עוקפים לשליפה.

Subquadratic מתאימה במיוחד למפתחים, לסוכני תכנות, לצוותים בארגונים ולחוקרים הזקוקים להסקה אמינה על פני הקשר ארוך — במיוחד לצורך ניתוח של בסיס קוד שלם, סוכנים הפועלים לאורך זמן ומשימות מורכבות הכוללות מסמכים מרובים.

נקודות עיקריות

• ארכיטקטורת ה-LLM הראשונה שהיא תת-ריבועית לחלוטין (עם גידול ליניארי בדרישות המשאבים).
• הקשר של מיליוני טוקנים (עד 12M טוקנים).
• יכולות שליפה חזקות מתוך הקשר ארוך ביעילות גבוהה.
• תוכננה למאגרים שלמים ולמצב סוכן הנשמר לאורך זמן.
• API תואם OpenAI ושילובים עם סוכני תכנות.

• שיקולים שכדאי להביא בחשבון

• כמודל מחקר בחזית התחום, סביבת הכלים והשירותים שלו ומגוון הגרסאות בגדלים שונים עדיין מתרחבים.
• מתאים במיוחד לשימושים עם הקשר ארוך, יותר מאשר לצ'אט כללי עם פרומפטים קצרים.

הערכה כוללת: 4.7/5 כוכבים

Subquadratic מתמודדת עם אחת המגבלות המשמעותיות ביותר של מודלי ה-LLM הנוכחיים — העלות הריבועית של מנגנון הקשב. באמצעות הסקה מעשית על פני מיליוני טוקנים תוך שימוש במשאבי חישוב מעטים בהרבה, SubQ מייצג צעד ארכיטקטוני משמעותי קדימה עבור סוכנים ויישומים עם הקשר ארוך.

כתבו גם אתם סקירה ב-Quasa.io וקבלו תגמול ב-QUA!

מתחילים כאן: https://quasa.io/projects/subquadratic