PrismML – סקירה: העתיד של מודלי שפה גדולים הפועלים ישירות על המכשיר

#Quasa #QUA #prismml

PrismML היא חברת מחקר בתחום הבינה המלאכותית שבסיסה בארה״ב (עם שורשים עמוקים ב-Caltech), המתמקדת באתגר מרכזי: כיצד להכפיל את האינטליגנציה של מודלים בלי להגדיל את גודלם או את מורכבותם. הפתרון שלה הוא מודלים בעלי צפיפות גבוהה במיוחד ודחיסה משמעותית, המספקים ביצועים חזקים תוך שימוש מופחת באופן דרמטי בזיכרון, באנרגיה ובמשאבי חישוב.

מוצר הדגל שלה, Bonsai 27B, הוא מודל בעל 27 מיליארד פרמטרים, הזמין בגרסאות 1-bit (רק 3.9 GB) וטרנרית (5.9 GB). כך ניתן להריץ מודל בסדר גודל כזה ישירות על טלפונים חכמים ומחשבים ניידים — דבר שלא היה אפשרי בעבר עם מודלים רגילים בדיוק מלא. לטענת PrismML, גרסת 1-bit משתמשת ב-פי 14 פחות זיכרון, פועלת פי 8 מהר יותר וצורכת פי 5 פחות אנרגיה בהשוואה למודלים מסורתיים מסוג 16-bit, תוך שמירה על תמיכה בהסקה רב-שלבית, בקריאה לכלים, בתהליכי עבודה מבוססי סוכנים ובהבנה רב-אופנית.

הפילוסופיה המרכזית של החברה היא “צפיפות אינטליגנציה” — מיצוי מרבי של אינטליגנציה שימושית לכל ביט, במקום להסתפק בהגדלת מספר הפרמטרים. גישה זו נועדה לפתור שתי בעיות מרכזיות בבת אחת: מודלים גדולים שלא נכנסים למכשירים אישיים, ודרישות האנרגיה של מרכזי נתונים עצומים, שאינן בנות קיימא.

PrismML מתאימה במיוחד למפתחים, ליצרני חומרה, לחוקרים ולחברות שרוצים להריץ בינה מלאכותית עוצמתית באופן מקומי, עם הגנה חזקה על הפרטיות, השהיה נמוכה ויעילות אנרגטית גבוהה.

נקודות עיקריות

• דחיסת 1-bit ודחיסה טרנרית ברמה עולמית (משפחת Bonsai).
• Bonsai 27B פועל על טלפונים עם ~4 GB בלבד.
• שיפורים משמעותיים בשימוש בזיכרון, במהירות וביעילות האנרגטית.
• תומך בהסקה, בשימוש בכלים וביכולות רב-אופניות ישירות על המכשיר.
• בסיס מחקרי איתן מ-Caltech.

שיקולים שכדאי להביא בחשבון

• מכיוון שמדובר בטכנולוגיה חדשה יחסית, התמיכה במערכת הכלים והשירותים שסביבה וכלי הכוונון העדין עדיין מתרחבים.
• התוצאות הטובות ביותר נראות כיום בחומרה מודרנית מהשורה הראשונה של מכשירים ניידים ומחשבים ניידים.

הערכה כוללת: 4.6/5 כוכבים

PrismML מקדמת כעת את אחד מתחומי החדשנות החשובים ביותר בבינה המלאכותית — הפיכת מודלים גדולים למעשיים במכשירים יומיומיים. באמצעות התמקדות בצפיפות אינטליגנציה במקום בגודל בלבד, החברה מסייעת להעביר בינה מלאכותית עוצמתית מהענן למכשירי הקצה באופן משמעותי.

קבלו תגמול ב-QUA על כתיבת ביקורת גם ב-Quasa.io!

התחילו כאן: https://quasa.io/projects/prismml