Pinecone eller Weaviate: lavere ventetid kan koste portabilitet

Pinecone er et nærliggende valg når teamet vil ha administrert vektorsøk med lite ansvar for databasedrift. Weaviate er mer aktuelt når teamet vil kunne drifte databasen selv, eller når ordtreff og semantiske treff skal kombineres tett. For en norsk RAG-tjeneste bør valget bygge på søkekvalitet, ventetid, driftsansvar og hvor hele datakjeden kjører.

En publisert sammenligningstabell oppgir 45 ms ved p95 for Pinecone og 78 ms for Weaviate. Tabellen beskriver ikke et felles datasett, spørringssett og regionoppsett godt nok til å gjøre forskjellen til en forventet gevinst i egen tjeneste. Den målte fordelen må derfor veies mot at Weaviate også kan installeres i et miljø teamet kontrollerer.

Hvor mye sier de publiserte ventetidene?

Et åpent benchmarkoppsett med 10 000 produkttekster, vektorer på 384 dimensjoner og fem semantiske spørsmål målte 460,44 ms ved p95 for Pinecone og 47,59 ms for Weaviate; de administrerte tjenestene ble nådd over nettverk fra testmiljøet. Her er rekkefølgen motsatt av i sammenligningstabellen. Testforfatteren peker selv på at nettverkstid preger målingene mot skytjenestene.

Forskjellen mellom disse resultatene kan ikke tilskrives databaseprogramvaren alene. Datasett, klientens plassering, indekstype, belastning og antall returnerte treff kan endre både svartid og rangering. p95 er dessuten en verdi i fordelingen av målte forespørsler, ikke tiden hvert oppslag vil bruke. Et RAG-svar inkluderer også arbeid utenfor databasen, blant annet å lage søkevektoren og å generere selve svaret.

En nyttig sammenligning holder derfor de samme dokumentutdragene, embeddingmodellen, filtrene og antallet treff fast, og sender forespørslene fra samme applikasjonsregion. Ventetid bør ses sammen med om de riktige utdragene faktisk blir hentet. Hvis et raskt søk utelater en nødvendig paragraf eller feilkode, sparer det lite tid for brukeren som får et dårligere svar.

Ren vektorsøk er ikke det samme som hybridsøk

Ren vektorsøk leter etter semantisk likhet. Det er nyttig når et spørsmål bruker andre ord enn dokumentet som inneholder svaret. Hybridsøk legger til leksikalske treff og blir særlig relevant for norske fagsamlinger med produktnavn, forkortelser, paragrafhenvisninger eller feilkoder som må finnes presist.

Weaviates dokumentasjon for hybridsøk beskriver en spørring som kombinerer BM25-basert ordsøk med vektorsøk. Parameteren alpha justerer vekten mellom de to delene, og resultatene kan avgrenses til bestemte tekstfelt. Det gir en konkret måte å undersøke om eksakte termer eller semantisk likhet bør telle mest i en bestemt dokumentsamling. Høyere vekt på ordtreff er likevel ikke automatisk bedre når brukerne stiller spørsmål med omskrivninger.

Pinecone kan også brukes med leksikalske signaler. Valget står dermed ikke mellom hybridsøk og fravær av hybridsøk, men mellom ulike måter å indeksere, kombinere og rangere signalene på. Kostnaden og ventetiden for en slik kjede kan avvike fra en måling av ren vektorsøk. For norsk innhold er valg av embeddingmodell for norsk RAG en egen variabel: modellen påvirker hvilke utdrag som i det hele tatt blir kandidater.

Driftsmodellen avgjør hvor lett databasen kan flyttes

Weaviates installasjonsveiledning beskriver både Weaviate Cloud og egen installasjon med Docker Compose eller Kubernetes. Det åpner for å bruke en administrert tjeneste og senere drive Weaviate i et valgt skymiljø. Egen drift gir kontroll over plassering og kapasitet, men legger oppgraderinger, sikkerhetsarbeid, sikkerhetskopier og gjenoppretting på teamet.

Pinecones pris- og produktoversikt viser tette, sparsomme og fulltekstindekser, forbruksbetalt On-Demand-bruk og Bring Your Own Cloud under Enterprise. Sistnevnte legger Pinecone i kundens skykonto, men tjenesten drives fortsatt etter Pinecones modell. Det er et relevant alternativ når plassering i egen skykonto er kravet; det gir ikke samme mulighet til å overta driften av databaseprogramvaren som en Weaviate-installasjon.

Portabilitet handler også om det som ligger rundt databasen. Ved en flytting må teamet ta med dokumentutdrag, vektorer og metadata, og gjenskape filtre, søkevekter og tilkoblinger fra applikasjonen. En overgang mellom to installasjoner av Weaviate er en annen oppgave enn å bytte fra Pinecones spørringsmodell til Weaviates. Jo mer retrieval-kjeden bygger på bestemte indeks- og rangeringsvalg, desto mer må testes på nytt etter flyttingen.

Dataregion og kostnad for et norsk team

Et krav om lagring i en bestemt region må omfatte mer enn vektordatabasen. Dokumenttekst kan sendes til en embeddingtjeneste før den indekseres, og spørsmål kan sendes videre til omrangering eller en språkmodell etter søket. En europeisk databaseregion sier derfor ikke alene hvor alt innhold behandles. Egen drift gjør databaseplasseringen mer direkte kontrollerbar, mens plasseringen til øvrige tjenester fortsatt må vurderes separat.

For Pinecone varierer kostnaden med blant annet lagring, lesinger, skrivinger og valgt plan. Ved egen drift av Weaviate flyttes en større del av regningen til skyressurser og arbeid med drift; Weaviate Cloud gir et administrert alternativ med et annet kostnadsbilde. En liten test med få forespørsler kan skjule kostnaden ved hyppige oppdateringer, mange samtidige søk eller ekstra trinn for hybridsøk og omrangering.

Den mest relevante sammenligningen bruker derfor samme forventede datamengde, oppdateringsfrekvens, søkemiks og toppbelastning i begge alternativer. Da kan teamet vurdere månedsutgift og ventetid ved en kvalitet på de hentede utdragene som faktisk er god nok. En billigere eller raskere database isolert sett trenger ikke gi den rimeligste RAG-tjenesten.

Hvilket valg passer behovet?

• Pinecone: Passer når administrert drift er viktigst, teamet aksepterer leverandørens driftsmodell og den konkrete søkelasten gir tilfredsstillende kvalitet og kostnad. Et publisert lavt ventetidstall er et utgangspunkt for sammenligning, ikke en ytelsesgaranti.
• Weaviate Cloud: Passer når BM25 og vektorsøk skal inngå i samme retrieval-oppsett, samtidig som teamet ønsker administrert drift. Dataplacering og pris må vurderes sammen med tjenestene som lager vektorer og svar.
• Weaviate med egen drift: Passer når kontroll over databaseplassering og muligheten til å flytte driften veier tungt. Den friheten har en kostnad i kapasitet, vedlikehold og ansvar ved feil.

Les også:

• Embeddingmodell for norsk RAG: globale topplister kan villede
• Lokal eller skybasert språkmodell: personvern har en driftspris
• Asana eller monday.com: den enkleste starten kan bli dyr ved vekst