Hugging Face או Replicate: ניצולת של 62% הופכת את המחיר

על בסיס תעריף T4 של 0.50 דולר לשעה ב־Hugging Face מול תעריף T4 של 0.81 דולר לשעה ב־Replicate, נקודת האיזון היא כ־62% זמן עיבוד מחויב: מתחתיה מודל ציבורי ב־Replicate עשוי לעלות פחות, ומעליה endpoint של Hugging Face שפועל ברציפות עשוי להיות זול יותר. הסף מתקבל מחלוקת 0.50 ב־0.81, כלומר כ־61.7%, ולא ממדידה של ניצולת המאיץ.

הבחירה תלויה גם בזמן הסרק, בהמתנה להתנעה, בזמינות החומרה ובדרך שבה אפשר לפרוס את המודל. אם משתמשים בפריסה פרטית ב־Replicate או מאפשרים ל־endpoint של Hugging Face לרדת לאפס רפליקות, משווים זמני חיוב אחרים והסף הזה כבר אינו מכריע לבדו.

מה בדיוק מחויב בכל מסלול

ב־Hugging Face Inference Endpoints מקצים משאב למודל ומשלמים על זמן הפעילות שלו, לרבות זמן שבו הרפליקה מוכנה לבקשות אך אינה מעבדת אותן. התעריף מוצג לשעה והחיוב מחושב לפי דקה. כאשר העומס מעלה את מספר הרפליקות, העלות תלויה בסכום זמני הפעילות של כולן, ולא רק במחיר הרפליקה הראשונה.

ב־Replicate יש להבחין בין מודל ציבורי לבין פריסה שמחזיקה מופעים ייעודיים. לפי כללי החיוב של Replicate, מודל ציבורי מחויב על זמן עיבוד הבקשות בלבד; זמן ההקמה והסרק שלו אינם מחויבים למשתמש. רוב המודלים הפרטיים ופריסות ייעודיות מחויבים גם כשהמופעים מוקמים או ממתינים לבקשות. החריג שמצוין בתיעוד הוא מודלים פרטיים מסוג fast booting fine-tunes, שמחויבים על עיבוד פעיל בלבד.

גם בתוך קטלוג המודלים הציבוריים יש מודלים שמתומחרים לפי קלט ופלט במקום לפי זמן ריצה. לכן ההשוואה המספרית כאן מתאימה למודל ציבורי שמחויב לפי זמן עיבוד על T4. ״זמן עיבוד מחויב״ הוא משך החיוב המצטבר, ולא קריאה אוטומטית של אחוז ניצולת ה־GPU בכלי ניטור: בקשות מקבילות, תור ועבודה שאינה מעסיקה את המאיץ במלואו יכולים להרחיק בין המדדים.

שלושה תרחישי T4 שניתן לחשב מחדש

נניח לצורך הדוגמה חלון של שעה, רפליקת T4 אחת ב־Hugging Face שנשארת פעילה לכל אורכו, ומודל ציבורי ב־Replicate שמחויב על עיבוד ב־T4. עלות הרפליקה הפעילה היא 0.50 דולר לשעה. את עלות Replicate מחשבים כך: 0.81 דולר כפול חלק השעה שבו הבקשות מעובדות בפועל.

• 20% זמן עיבוד: הבקשות מעובדות במשך 12 דקות מצטברות בשעה. החישוב נותן 0.162 דולר ב־Replicate לעומת 0.50 דולר ל־endpoint הפעיל. בחודש מותנה של 730 שעות עם אותו דפוס בכל שעה, אלה 118.26 דולר לעומת 365 דולר.
• 62% זמן עיבוד: העיבוד נמשך 37.2 דקות מצטברות בשעה. העלות המחושבת ב־Replicate היא 0.5022 דולר, מעט יותר מ־0.50 דולר ב־Hugging Face. השוויון המדויק נמצא סביב 61.7%, ולכן 62% הוא סף מעוגל.
• 100% זמן עיבוד: שעה שלמה של עיבוד מחויב עולה 0.81 דולר ב־Replicate, לעומת 0.50 דולר לרפליקה הפעילה. אם התנאי מתקיים לאורך אותו חודש מותנה, אלה 591.30 דולר לעומת 365 דולר.

אלה תרחישי עלות מותנים, לא תוצאות של מבחן ביצועים. אותו סוג מאיץ בשתי הפלטפורמות אינו מבטיח שאותו מודל יסיים בקשה באותו זמן או יספק תפוקה זהה. אם תצורה אחת דורשת יותר רפליקות, מחשבים את זמני הפעילות של כולן; אם התעריף משתנה, מחליפים בנוסחה את שני המחירים בלי להניח שנקודת האיזון תישאר במקומה.

איך ירידה לאפס משנה גם את המחיר וגם את התגובה

הפער לטובת Replicate בעומס נמוך בדוגמה נובע מכך שרפליקת Hugging Face נשארת פעילה בין הבקשות. אפשר להוריד Inference Endpoint לאפס רפליקות בתקופת חוסר פעילות וכך לצמצם זמן ריצה מחויב. לבקשה שמגיעה לאחר הירידה לאפס יש מחיר תפעולי אחר: היא נתקלת בהתנעה קרה, ובמהלך אתחול הרפליקה השירות עשוי להשיב שגיאת 502; התיעוד מציין שאין תור מובנה לבקשות שמגיעות בשלב הזה.

לכן פיזור התעבורה חשוב לא פחות מסכום דקות העיבוד. רצף פרצים עם הפוגות קצרות עשוי להשאיר רפליקה פעילה ולצבור חיוב על זמן המתנה. הפוגות ארוכות עשויות לחסוך זמן פעילות, אך להוסיף המתנה וסיכון לטיפול בבקשה הראשונה לאחריהן. בחירת משך ההמתנה לפני ירידה לאפס משפיעה על שני הצדדים של החשבון הזה.

גם מודל ציבורי ב־Replicate עלול להיתקל בהתנעה קרה או בתור משותף, אף שזמן ההקמה והסרק שלו אינם מחויבים למשתמש. ליישום אינטראקטיבי יש לבחון בנפרד את ההמתנה לתחילת העיבוד, את זמן העיבוד ואת התנהגות השירות לאחר הפוגה. לעבודה אסינכרונית שסובלת המתנה, חיסכון בזמן סרק עשוי להיות חשוב יותר מקיבולת שמוכנה תמיד.

חומרה, container ודרישות ציות

התעריף הזול יותר חסר ערך אם המודל אינו מתאים לזיכרון, למנוע ההגשה או לתפוקה הנדרשת. T4 הוא שם המאיץ בשתי הדוגמאות, אך התצורות המוצעות סביבו אינן בהכרח זהות. יש לחשב את מספר הרפליקות ואת זמן הריצה שנדרשים בפועל לכל חלופה, במיוחד כשגודל הקלט או בקשות מקבילות משנים את העומס.

לצוות שכבר מחזיק סביבת הגשה משלו, אופן האריזה עשוי לקבוע את היקף עבודת ההעברה. Hugging Face מאפשרת להביא תמונת container מותאמת, ציבורית או פרטית ל־Inference Endpoint. ב־Replicate אפשר לפרוס מודל מותאם באמצעות Cog. שתי הדרכים דורשות בדיקת תאימות של קוד ההגשה, התלויות ותהליך האתחול; מחיר שעת GPU אינו כולל את עבודת ההתאמה הזאת.

במערכת עם נתונים רגישים, תנאי הפריסה הם תנאי סף לבחירה: אזור האירוח, הרשאות גישה, שמירת נתונים, רישום פעולות ומסמכי עיבוד נתונים. העובדה שמודל פרטי או מופע ייעודי זמינים אינה קובעת לבדה התאמה לדרישת ציות של ארגון בישראל. השוואת המחיר מועילה רק בין תצורות שעומדות בדרישות שהארגון קבע למודל ולמידע שיעבור דרכו.

מטריצת בחירה לפי אופי השירות

• תעבורה נמוכה או לא צפויה ומודל ציבורי מתאים: חיוב על עיבוד פעיל ב־Replicate עשוי להיות הבחירה הזולה. יש להביא בחשבון את ההמתנה האפשרית להתנעה או לתור משותף כשמגדירים את זמן התגובה הדרוש.
• תעבורה יציבה וצורך בקיבולת מוכנה: רפליקת Hugging Face פעילה ברציפות עשויה לעלות פחות בתרחיש T4 לאחר נקודת האיזון. אם החלופה ב־Replicate היא פריסה ייעודית חמה, זמן הסרק שלה נכנס לחשבון והסף שחושב למודל ציבורי אינו חל עליה.
• תלות ב־container פרטי או במנוע הגשה מסוים: בודקים תחילה באיזו פלטפורמה אפשר להריץ את סביבת המודל הנדרשת ובאיזו עבודת התאמה. לאחר מכן משווים את עלות החומרה של התצורות האפשריות.
• דרישת תגובה קשיחה או ציות מחייב: בוחרים רק מסלולים שמספקים את זמינות הקיבולת, אזור הפריסה ותנאי עיבוד הנתונים הדרושים. בתוך קבוצת האפשרויות הזאת מחשבים את העלות לפי זמן פעילות הרפליקות או לפי זמן העיבוד המחויב, בהתאם למסלול.

קראו גם:

• Hugging Face או Replicate: תעבורה יציבה הופכת את החשבון
• beehiiv או Substack: עמלת 10% הופכת את נקודת האיזון
• Hugging Face למתחילים: הפילטרים שמונעים בחירת מודל לא מתאים