OpenAI API או Anthropic API: מטמון חוסך עד 80% — ולעיתים גם מאט

ב־OpenAI API וב־Anthropic API, מטמון משתלם כאשר בקשות חוזרות קוראות קידומת ארוכה וזהה לפני שתוקפה פג. מחקר על יותר מ־500 שיחות של סוכני מחקר עם פרומפטי מערכת בני 10,000 אסימונים מצא חיסכון של 41%–80% בעלות וקיצור של 13%–31% בזמן עד האסימון הראשון, אך גם תצורות שבהן שמירת כל ההקשר הגדילה את ההשהיה. אלה תוצאות של עומס ושיטות שמירה שנבדקו במחקר, ולא תחזית לכל מוצר או לדגמים המופיעים בהשוואת המחירים שלהלן.

לכן הבחירה בין ממשקי ה־API אינה מוכרעת לפי מחיר אסימון ממטמון בלבד. צריך לחשב כמה אסימונים נכתבים, כמה נקראים שוב, כמה נשארים קלט רגיל וכמה נפלטים; לצד החשבון יש לבחון את המרווח בין הבקשות ואת הזמן עד תחילת התשובה. גם כששני דגמים מציגים מחירי מחירון זהים, אותו טקסט עשוי להיספר אצלם אחרת, והתשובות שלהם עשויות להיות שונות באורך ובביצועים.

ארבעה מחירים, ולא מחיר קלט אחד

ההשוואה המספרית כאן משתמשת בתעריף Standard להקשר קצר של GPT-6.1 Sol. מחירון OpenAI מציג לדגם זה, לכל מיליון אסימונים, 2 דולר לקלט רגיל, 2.50 דולר לכתיבה למטמון, 0.10 דולר לקריאה ממטמון ו־10 דולר לפלט. לפיכך בקשה שיצרה רשומת מטמון אינה מחויבת כאילו כבר קראה רשומה קיימת. חלק הבקשה שאינו מתאים לקידומת שמורה ממשיך להיכלל בחשבון הקלט.

לשם השוואה, מחירון Anthropic מציג ל־Claude Sonnet 5.5 אותם מחירים לקלט רגיל, לכתיבה למטמון בן חמש דקות, לקריאה ולפלט: 2, 2.50, 0.10 ו־10 דולר למיליון אסימונים, בהתאמה; כתיבה למטמון בן שעה עולה 4 דולר. השוויון הזה מתאר קטגוריות חיוב של שני דגמים מסוימים, ולא עלות זהה למשימה נתונה. פירוק הטקסט לאסימונים, אורך התשובה והיקף השימוש בכלים משפיעים גם הם על החשבון.

יש להבחין גם בין מחיר קידומת חוזרת לבין מחיר הבקשה כולה. אם רוב האסימונים הם פלט, הנחה גדולה על הקלט תחסוך שיעור קטן בהרבה מהעלות הכוללת. אם הקלט ארוך אך משתנה לפני נקודת השמירה, מחיר הקריאה הנמוך כמעט שאינו נכנס לפעולה. לכן השוואה המבוססת על העמודה הזולה ביותר במחירון יכולה להחמיץ את הרכיב הדומיננטי במוצר.

נוסחה לעומס עם פרומפט מערכת חוזר

חלקו את הקלט בכל בקשה לקידומת יציבה ולקטע משתנה. עלות הבקשה היא סכום עלות אסימוני הקידומת לפי הפעולה שבוצעה בפועל — קלט רגיל, כתיבה או קריאה ממטמון — בתוספת עלות הקטע המשתנה ועלות הפלט. בכל רכיב מכפילים את מספר האסימונים במחיר המתאים למיליון ומחלקים במיליון. את ספירת האסימונים יש לקבל בנפרד מכל ספק, במקום להניח שאותו טקסט יניב אותה ספירה.

לקידומת שנכתבת פעם אחת ונקראת שוב, המבחן החשבונאי פשוט: מחיר הכתיבה ועוד מספר הקריאות כפול מחיר הקריאה, לעומת חיוב של אותה קידומת כקלט רגיל בכל בקשה. במחירים שבדוגמה, כתיבה למטמון קצר וקריאה מוצלחת אחת כבר זולות מעיבוד רגיל של הקידומת פעמיים. בכתיבה למטמון בן שעה של Anthropic נדרשות שתי קריאות מוצלחות כדי לעבור מתחת לעלות של שלושה עיבודים רגילים. המבחן מניח קידומת זהה וזמינה; החטאת מטמון משנה את מספר הכתיבות ואת התוצאה.

הנוסחה מבודדת את ערך השימוש החוזר, אך אינה מדרגת איכות תשובה. מוצר שמקבל תשובה מתאימה רק מאחד הדגמים אינו יכול להתייחס אליהם כתחליפים בגלל מחירון דומה. גם במסלול שבו שניהם מתאימים, כדאי להשוות את עלות המשימה שהושלמה: בקשות המשך, קריאות לכלים ואורך הפלט יכולים לשנות את התוצאה יותר מההפרש במחיר הקידומת.

מאה בקשות צפופות: היכן נוצר החיסכון

נניח לצורך חישוב בלבד מאה בקשות, שבכל אחת קידומת זהה של 10,000 אסימונים, עוד 1,000 אסימוני קלט משתנה ו־500 אסימוני פלט. במחירים שצוינו, ללא מטמון העלות היא 2.70 דולר: 2.20 דולר לקלט ו־0.50 דולר לפלט. ההנחה כאן היא שספירת האסימונים זהה בשני הדגמים לצורך בידוד השפעת המטמון; במוצר אמיתי יש להחליף אותה בספירה שמחזיר כל API.

אם הבקשה הראשונה כותבת רק את הקידומת היציבה, וכל תשעים ותשע הבקשות הבאות קוראות אותה בהצלחה, העלות המחושבת היא 0.824 דולר. מתוכה 0.025 דולר הם הכתיבה, 0.099 דולר הקריאות, 0.20 דולר הקלט המשתנה ו־0.50 דולר הפלט. זהו חיסכון של כ־69% מן החשבון ללא מטמון. התוצאה שווה בשני הדגמים שנבחרו רק תחת מחירי הבסיס ודפוס הפגיעות שהוגדרו בדוגמה.

שינוי באורך התשובה משנה מיד את שיעור החיסכון הכולל, אף שהחיסכון על הקידומת נשאר זהה. כך גם שינוי בתוכן המשתנה: אם הוא מתארך, חלק גדול יותר מהקלט מחויב במחיר רגיל. לעומת זאת, ריבוי בקשות עם אותה קידומת מפזר את עלות הכתיבה הראשונה על פני יותר קריאות. אלה יחסים שאפשר לחשב מראש מתוך מבנה העומס, בלי לייחס לדוגמה תוצאה שנמדדה בשירות פועל.

מרווח הבקשות משנה את החשבון

ב־תיעוד המטמון של OpenAI, קידומת בדגמי GPT-5.6 ואילך צריכה להכיל לפחות 1,024 אסימוני קלט גלויים כדי להישמר; משך הזמינות המינימלי המתועד הוא 30 דקות מאז הכתיבה או השימוש החוזר האחרון, וייתכן שהרשומה תישאר זמינה יותר. שימוש חוזר דורש התאמה של הקידומת המעובדת. שינוי בכלים, בהוראות או בתוכן שלפני נקודת השמירה יכול לצמצם את החלק שאפשר לקרוא שוב.

ל־Anthropic יש ברירת מחדל קצרה יותר לצד אפשרות לשמירה ממושכת: תיעוד המטמון של Claude מתאר חלון של חמש דקות או שעה, סף של 512 אסימונים ל־Claude Sonnet 5.5 וחידוש חלון השמירה בעת קריאה מוצלחת. החלון נספר מתחילת הבקשה, ולכן זמן יצירת תשובה ארוכה מפחית את הזמן שנותר אחריה לבקשת המשך. אפשר להציב נקודת שמירה בסוף החלק היציב ולהשאיר אחריה את המידע המשתנה.

כעת נניח שאותן מאה בקשות מגיעות בהפרש קבוע של ארבעים דקות. אם רשומת OpenAI כבר אינה זמינה בכל בקשה, הקידומת נכתבת מחדש מאה פעמים והעלות המחושבת עולה ל־3.20 דולר, מעל 2.70 דולר ללא מטמון. אם ב־Anthropic הוגדר מטמון בן שעה, הקידומת לא השתנתה וכל קריאה מחדשת אותו בהצלחה, העלות המחושבת היא 0.839 דולר, כולל הכתיבה היקרה יותר בתחילת הרצף. זהו תרחיש מותנה: חלון מינימלי אינו הוכחה להחטאה ב־OpenAI אחרי ארבעים דקות, ופגיעה ב־Anthropic דורשת שרשומה תואמת אכן תהיה זמינה.

מתי חיסכון באסימונים מאריך את ההמתנה

פגיעה במטמון חוסכת עיבוד חוזר של קידומת, אך אינה מבטלת את עיבוד הקלט החדש או את יצירת התשובה. לכן זמן עד האסימון הראשון וזמן עד סיום התשובה הם שני מדדים שונים. בשיחה שמייצרת פלט ארוך, חלק משמעותי מן ההמתנה עשוי להגיע דווקא משלב היצירה; הנחה על הקלט אינה מלמדת לבדה בכמה תתקצר הבקשה.

בשיחת סוכן מתארכת מצטרפות תוצאות כלים והודעות חדשות. אם נקודת השמירה מקיפה בכל פעם גם תוכן שמשתנה, הבקשות עשויות לכתוב קידומות חדשות במקום לקרוא את הקידומת היציבה. שמירה רחבה מדי עשויה אפוא להוסיף עבודה גם כשהמחיר הרשום לקריאה ממטמון נמוך. ההבחנה המועילה היא בין הוראות ורקע שחוזרים ללא שינוי, לבין תוצאות חיפוש, נתוני משתמש והודעות שנוספו רק בבקשה הנוכחית.

לבחירת API לייצור, החשבון הרלוונטי הוא התפלגות הבקשות במוצר: כמה מהקלט חוזר בדיוק, כמה זמן חולף בין שימושים, כמה אסימונים נוצרים ומהו זמן התגובה שהמשתמש חווה. השוואה על אותן משימות, באמצעות ספירת האסימונים ודיווחי הכתיבה והקריאה של כל ספק, תראה אם הקידומת הארוכה באמת מניבה פגיעות. במוצר עם תנועה צפופה היא עשויה להיות מקור החיסכון העיקרי; בתנועה מרווחת, משך השמירה ועלות הכתיבות החוזרות עשויים להכריע.

קראו גם:

• OpenAI API או Gemini API: החשבון משתנה לפי אורך הקלט, לא רק המודל
• Dots של OpenAI עובדים בין השיחות — ההשקה עדיין מוגבלת
• אסימון API של Cloudflare דלף? Roll משאיר את אותן ההרשאות