Pinecone eða Weaviate: lágmarksverðið segir ekki leitarhraðann

Fyrir RAG í rekstri er hvorki lægsta gjaldið né stök hraðamæling næg ástæða til að velja milli Pinecone og Weaviate. Berðu saman heildarkostnað við sama gagnasafn og mældu biðtíma og afköst við sömu kröfu um endurheimt. Verðlíkönin telja ólíka hluti og birtar mælingar eiga við tilteknar uppsetningar.

Pinecone býður stýrða þjónustu með notkunartengdum kostnaði, en Weaviate fæst bæði sem skýjaþjónusta og til sjálfhýsingar. Fyrir teymi sem velja vigragrunn skiptir því líka máli hver rekur hann, hversu oft gögn breytast og hvaða afritun þarf. Lágmarksverð segir ekkert eitt og sér um svartíma leitar.

Hvað greiðir teymið fyrir?

Verðskrá Pinecone sýnir Builder á föstu 20 dala mánaðargjaldi, 50 dala mánaðarlega lágmarksnotkun fyrir Standard og 500 dali fyrir Enterprise. Standard og Enterprise taka síðan gjald eftir notkun þegar hún fer yfir lágmarkið; lestur, skrif og geymsla eru meðal reiknieininga gagnagrunnsins. Verð á skrifum er breytilegt eftir skýjaveitu og svæði. Lágmarkið er því ekki verð fyrir ákveðinn fjölda fyrirspurna eða trygging fyrir ákveðnum leitarhraða.

Verðskrá Weaviate Cloud setur Flex frá 45 dölum á mánuði og víddagjald frá 0,00465 dölum fyrir hverja milljón vigravídda; geymsla og öryggisafrit eru einnig reikningsliðir. Mánaðarlágmarkið nær yfir grunnkostnað klasans, vigravíddir og geymslu upp að því marki, en öryggisafrit eru gjaldfærð sérstaklega. Verð hverrar víddar fer meðal annars eftir gerð vísis, þjöppun og svæði. Því má hvorki leggja alla reiknaða víddanotkun sjálfkrafa ofan á lágmarkið né túlka upphafsverðið sem fullan reikning fyrir stórt safn.

Í skýringum Weaviate á verðlíkaninu kemur fram að gjaldskyldar vigravíddir miðast við fjölda hluta, víddir hvers vigurs og afritunarstuðul; opna útgáfan er jafnframt í boði fyrir eigin rekstur. Sjálfhýsing færir kostnaðinn yfir í tölvuafl, geymslu, afritun, vöktun og viðhald hjá teyminu. Hún er því sérstakur rekstrarkostur fremur en gjaldfrjáls útgáfa af sömu stýrðu þjónustu.

Þrjú álagssnið sýna muninn á reiknieiningunum

Eftirfarandi snið eru skilyrt dæmi, ekki verðtilboð eða niðurstöður prófunar. Í öllum er einn vigur á gagnahlut og fjögur bæti á hvert vigurgildi notuð til að reikna hráa stærð. Afritunarstuðullinn á við áætlun fyrir Weaviate; hann er ekki settur fram sem val á jafngildri afritunarstillingu hjá Pinecone. Vísar, lýsigögn og öryggisafrit bæta við geymslu umfram hráa vigra.

• Lítið þekkingarsafn: 50.000 vigrar með 768 víddum, 100.000 leitir og 5.000 skrifaðgerðir á mánuði, með afritunarstuðul einn. Það eru 38,4 milljónir reiknanlegra vídda og 153,6 MB af hráum vigurgildum. Við lægsta birta Flex-víddaverð væri víddaliðurinn um 0,18 dalir áður en lágmark, geymsla og önnur gjöld ráða endanlegum reikningi.
• Vaxandi RAG-þjónusta: ein milljón vigra með 1.536 víddum, tvær milljónir leita og 100.000 skrifaðgerðir á mánuði, með afritunarstuðul tvo. Rökrétta safnið hefur 1,536 milljarða vídda; með afritun verða reiknanlegar víddir 3,072 milljarðar og hrá vigurgildi 12,288 GB. Víddaliður við sama lægsta einingaverð væri um 14,28 dalir.
• Stórt leitarsafn: tíu milljónir vigra með 1.536 víddum, 20 milljónir leita og eina milljón skrifaðgerða á mánuði, einnig með afritunarstuðul tvo. Reiknanlegar víddir verða 30,72 milljarðar og hrá vigurgildi 122,88 GB. Víddaliður við sama viðmið væri um 142,85 dalir; raunverulegt verð fer þó eftir uppsetningu og umfangi annarra gjalda.

Þessar tölur einangra áhrif víddafjölda og afritunar. Þær eru ekki mánaðarreikningar: víddaverðið er birt sem upphafsverð, lágmark Flex tekur til hluta notkunarinnar og gagnahlutirnir sjálfir þurfa geymslu. Hjá Pinecone þarf að mæla gjaldfærðar lestrar- og skrifareiningar fyrir sömu aðgerðir; ein leit jafngildir ekki sjálfkrafa einni lestrareiningu. Tíð uppfærsla getur þannig breytt samanburðinum þótt fjöldi geymdra vigra haldist óbreyttur.

Hvað sýna birtar hraðamælingar?

Vector Database Benchmark birtir töflu fyrir 100 milljónir Wikipedia-búta, 1.536 vídda vigra og fyrirspurnasöfn með 10.000 eða einni milljón fyrirspurna. Þar eru Weaviate færðar 5.100 fyrirspurnir á sekúndu, 9 ms við 99. hundraðshlutamark biðtíma og 0,989 í recall@10; samsvarandi tölur fyrir Pinecone eru 3.800, 14 ms og 0,985. Lýsingin nefnir sama HNSW-snið, en sundurliðar ekki nægilega vel auðlindir og þjónustuuppsetningu hvors kerfis til að þessar töflutölur verði spá um greidda RAG-þjónustu.

Í SciFact-prófi BenchClaw var miðgildi biðtíma 3,5 ms fyrir Weaviate og 12,0 ms fyrir Pinecone Local, en recall@10 var 0,7833 á móti 0,7832. Prófið notaði sömu vigra í staðbundnum gámum og Pinecone Local er hermir fyrir þróun, ekki stýrða Pinecone-þjónustan. Þessi mæling lýsir því minni gagnasafni og öðrum samanburði en stóra taflan. Hvorug niðurstaðan ein og sér ræður því hvernig valinn skýjaklasi svarar fyrirspurnum úr íslensku RAG-kerfi.

Leitarhraði verður merkingarbær fyrst þegar leitin nær nægri endurheimt. Breytt vísisstilling getur aukið afköst en fækkað réttum niðurstöðum; miðgildi biðtíma sýnir heldur ekki hversu hægt hægustu svörin berast. Í framleiðslu þarf því að tengja afköst og efri hundraðshlutamörk biðtíma við sömu recall@k-kröfu, sömu síur og sambærilegt skrifálag.

Sama prófunarforrit á báðum kerfum

Samanburður á eigin álagi byrjar á sömu textabútum, fyrirfram reiknuðum vigrum, auðkennum og lýsigögnum í báðum grunnum. Prófunarforritið notar einn fastan lista fyrirspurna, sama fjarlægðarmælikvarða, sama fjölda niðurstaðna og sömu síur þar sem þær eru studdar. Tengilagið útfærir innsetningu, uppfærslu, leit og eyðingu fyrir hvort kerfi; afgangurinn af prófinu breytist ekki.

Keyra þarf hleðslu og vísasmíði aðskilið frá leitarprófinu, hita þjónustuna upp og mæla síðan stöðugt lestrarálag samhliða skilgreindum skrifum. Skrá mætti miðgildi og efri hundraðshlutamörk biðtíma, fyrirspurnir á sekúndu, villur, recall@k og tímann þar til nýskrifuð gögn birtast í leit. Sama álagsgjafi og sambærileg nettenging skipta máli: annars getur fjarlægð frá Íslandi eða takmörkun prófunarbiðlarans litið út eins og munur á vigragrunnunum.

Fyrir kostnaðarsamanburð þarf að varðveita skýjasvæði, vísagerð, þjöppun, afritun og lengd keyrslu með niðurstöðunum. Þannig má setja mældar lestrar- og skrifareiningar Pinecone og gjaldskyldar víddir, geymslu og afrit Weaviate við sama álag. Val teymisins verður þá byggt á þeim kostnaði sem fylgir ásættanlegri endurheimt og biðtíma, ásamt þeirri rekstrarábyrgð sem það vill taka sjálft.

Lestu einnig:

• Clockify eða Harvest: notendagjaldið segir ekki allan reikninginn
• Deel eða Remote á Íslandi: $100 verðmunur segir ekki alla söguna
• Brevo eða Mailchimp: óvirkur póstlisti getur tvöfaldað rangan reikning