Pinecone או Weaviate: יחידות קריאה מול ממדי וקטור משנות את העלות

ההבדל המכריע בין Pinecone Serverless ל־Weaviate Cloud הוא מה מגדיל את החשבון. ב־Pinecone מספר החיפושים וצריכת יחידות הקריאה שלהם משפיעים על ההוצאה, לצד כתיבות ואחסון. ב־Weaviate Cloud בסיס החיוב הוא סך ממדי הווקטור והאחסון, עם גיבויים בתשלום נוסף. לכן מאגר קבוע עם תנועה משתנה ומאגר שגדל במהירות עשויים לשנות את מאזן העלויות בדרכים שונות.

למערכת RAG שדורשת אירוח עצמי, Weaviate היא האפשרות הישירה מבין החלופות הנדונות כאן. כאשר שני השירותים מתאימים לפריסה, ההכרעה דורשת אומדן על אותו אוסף מסמכים ואותו עומס, ובדיקה נפרדת של זמן תגובה ואיכות אחזור. תמיכה בחיפוש היברידי קיימת בשניהם, אך דרך השילוב של התאמה מילולית ודמיון סמנטי משפיעה על התוצאות שמגיעות למודל השפה.

מה מחייב כל שירות

ב־Pinecone Serverless, שאילתה אינה שקולה בהכרח ליחידת קריאה אחת. ההסבר של Pinecone על יחידות קריאה מתאר חיוב על חיפוש, שליפת רשומות ורישום מזהים; עלות החיפוש ביחידות מושפעת מגודל מרחב השמות, מממדי הווקטורים וממטא־דאטה. בדוגמה שבדף, גידול המאגר מגדיל את צריכת הקריאה בשיעור תת־ליניארי. זו המחשה להתנהגות אפשרית של המנגנון, ולא יחס קבוע שאפשר להחיל על כל מאגר.

המשמעות היא שתחזית המבוססת רק על מספר השאילתות מחמיצה חלק מהעלות. אותו חיפוש עשוי לצרוך יחידות קריאה שונות אחרי שהמאגר גדל או שמודל ההטמעות הוחלף; שליפת רשומות נוספת לצורך בניית ההקשר ל־RAG היא פעולה נפרדת. כתיבות, אחסון ורכיבי שימוש אחרים צריכים להופיע באומדן בנפרד, כך שחודש של טעינה ראשונית לא ייראה כמו חודש פעילות רגיל.

ב־Weaviate Cloud, תמחור Weaviate מבסס את החיוב על סך ממדי הווקטור, אחסון מתמשך וגיבויים: מינימום Flex הוא 45 דולר לחודש, ובשאלות הנפוצות מצוין מינימום Premium של 400 דולר לחודש, אף שבטבלת המסלולים המחיר שלו מופנה לצוות המכירות. הגיבויים מתווספים למינימום. התעריף לממד תלוי בסוג האינדקס, בדחיסה ובאזור הענן, ולכן מכפלת הווקטורים בממדים קובעת את בסיס האומדן, לא את החשבונית הסופית.

שינוי מודל הטמעות מדגים את הפער: אם לכל מקטע נשמר וקטור בעל יותר ממדים, סך הממדים לחיוב ב־Weaviate Cloud גדל גם ללא שינוי בתדירות החיפוש. ב־Pinecone שינוי כזה עשוי להשפיע על צריכת הקריאה ועל נפח האחסון, אך הדוגמה הרשמית של יחידות הקריאה אינה מצדיקה להניח שהחשבון יגדל באותו יחס. בשני המקרים יש להביא בחשבון גם אינדוקס מחדש אם המעבר מחייב מאגר חדש.

גיליון עלות לאותו אוסף ולאותה שנה

גיליון השוואה מועיל מתחיל בנתוני עומס משותפים, לפני שמציבים בו מחיר של ספק. רשמו את מספר מקטעי המסמכים, מספר הווקטורים לכל מקטע, ממדי כל וקטור וגודל המטא־דאטה. הוסיפו נפח שאילתות רגיל ונפח בשעות שיא, התפלגות בין חיפוש לשליפת רשומות, מספר כתיבות ועדכונים, נפח אחסון, תדירות גיבוי ומשך שמירה. אם נשמרים כמה ייצוגים לאותו מקטע, יש לספור את כולם.

בעמודת Weaviate Cloud חשבו תחילה את סך הממדים: מספר הווקטורים כפול מספר הממדים בכל וקטור, לכל ייצוג שנשמר. אחר כך הוסיפו אחסון, גיבויים והמינימום של המסלול לפי ההצעה והפריסה שנבחרו. בעמודת Pinecone השתמשו בצריכת יחידות קריאה שנמדדה מתשובות של כמה סוגי שאילתות מייצגים, הכפילו בנפח של כל סוג, והוסיפו כתיבות ואחסון. סינון מטא־דאטה, מספר תוצאות שונה ושליפה נוספת אחרי החיפוש ראויים לשורות נפרדות אם הם חלק מהיישום.

גם רף המסלול משנה את ההשוואה: דף המחירים של Pinecone מציג למסלול Standard מינימום שימוש של 50 דולר בחודש, המכסה שימוש עד לרף זה, בעוד מסלול Builder מוצג במחיר קבוע של 20 דולר בחודש. לכן חשבון שימוש מחושב עשוי להיות נמוך מסכום החיוב בפועל במסלול שנבחר. באותו דף מפורטים גם סוגי אינדקסים צפופים, דלילים וטקסטואליים; שירותי הטמעה ודירוג מחדש עשויים להוסיף עלות אם היישום משתמש בהם.

את החישוב החודשי כדאי לפרוס על שנה: חודש טעינה ראשונית, חודשים שוטפים, תקופות עומס ותרחיש של החלפת מודל הטמעות אינם זהים. כך אפשר לראות אם המינימום החודשי דומיננטי רוב השנה, או אם פעולות קריאה וכתיבה בזמן שיא הן שמכתיבות את התקציב. זו השוואת עלות תשתית לאותו corpus; אם איכות האחזור מחייבת מספר שונה של מקטעים, שאילתות נוספות או שלב דירוג מחדש באחת החלופות, יש לעדכן את שתי העמודות בהתאם.

חיפוש היברידי משנה גם את מבחן האיכות

במאגר שמשלב שאלות חופשיות עם שמות מוצר, קודים ומזהים, דמיון סמנטי לבדו עלול לפספס התאמה מילולית חשובה. תיעוד החיפוש ההיברידי של Weaviate מתאר שילוב של חיפוש וקטורי עם BM25, כיוון המשקל היחסי באמצעות alpha ובחירה בדרך מיזוג התוצאות. אלה הגדרות שמשנות את סדר המקטעים המוחזרים, ולכן גם את החומר שמערכת RAG יכולה להכניס להקשר.

ב־Pinecone יש לבדוק איזה מסלול של חיפוש צפוף, דליל או טקסטואלי מתאים לאינדקס שבאמת ייפרס, ואיך היישום משלב את האותות. השוואה הוגנת משתמשת באותם מסמכים ובאותו תקציב תוצאות, אך אינה מחייבת הגדרות זהות כששיטות המיזוג שונות. לאוסף ישראלי כדאי לכלול בשאלות ההערכה עברית, אנגלית, ראשי תיבות ומזהים מדויקים; המדד החשוב הוא אם המקטע הנכון מגיע להקשר בזמן, ולא רק אם אחת המערכות מחזירה רשימת תוצאות מהר יותר.

אירוח עצמי מוסיף חלופה תפעולית

Weaviate מאפשרת להריץ את מסד הנתונים בניהול עצמי, בעוד Weaviate Cloud היא שירות מנוהל המבוסס על אותו פרויקט קוד פתוח. לצוות שצריך לקבוע בעצמו את מקום הפריסה ואת משאבי המערכת, זו אפשרות בעלת ערך ממשי. אבל עלות אירוח עצמי כוללת מחשוב, דיסק, שכפול, גיבויים, ניטור, עדכונים וזמן עבודה של צוות התשתית. אין להשוות אותה למחיר רישיון בלבד, או להניח שהיא זולה יותר לפני שאומדים את שנת התפעול כולה.

בפריסה מנוהלת, מיקום היישום ביחס למסד משפיע על זמן התגובה שהמשתמש חווה, גם כאשר זמן החיפוש בתוך המסד קצר. לכן מדידת השהיה צריכה להתחיל ביישום ולכלול תעבורת רשת, סינון, שליפת תוכן והחזרת תוצאות. כאשר השירות מיועד למשתמשים בישראל ופועל באזור ענן אחר, המרחק והמסלול ברשת הם חלק מהתוצאה המעשית, לא תכונה קבועה של מנוע החיפוש.

מה אפשר להסיק ממספרי הביצועים

טבלת בנצ׳מרק קהילתית מציגה עבור 100 מיליון וקטורים בני 1,536 ממדים 5,100 שאילתות בשנייה ו־9 אלפיות השנייה באחוזון 99 ל־Weaviate, לעומת 3,800 שאילתות בשנייה ו־14 אלפיות השנייה ל־Pinecone. אלה מספרים שפרסם מחבר המאגר. בתיאור הגלוי מופיעים נתוני חומרה ואינדקס כלליים, אך אין פירוט מספק של פריסת כל שירות, אזור הענן, הרשת, שיעור הכתיבות ותהליך השחזור כדי להפוך את הטבלה לתחזית עבור יישום מסוים.

גם קצב שאילתות וגם זמן תגובה תלויים ברמת המקביליות, במסננים, בגודל התוצאה וביעד איכות האחזור. שירות שמחזיר יותר שאילתות בשנייה במחיר של החמצת מקטעים רלוונטיים אינו בהכרח בחירה טובה יותר ל־RAG. מבחן מכריע ישמור על אותו מאגר, אותן שאלות ואותו יעד איכות, ויציג יחד recall, אחוזוני השהיה, קצב תחת עומס ועלות שנתית. כך אפשר להבחין בין יתרון בתצורה מסוימת לבין יתרון שנשאר גם בעומס שהמערכת צריכה לשאת.

קראו גם:

• Coursera או LinkedIn Learning ל־AI: עומק מול מהירות בדרך לעבודה
• Deel או Remote בישראל: המחיר החודשי הוא רק שכבת העלות הראשונה