OpenAI eller Claude för promptcache: en miss kan vända kostnaden

Valet mellan OpenAI och Claude avgörs av hur mycket av promptens början som återanvänds och om nästa anrop kommer medan cacheposten gäller. En miss kan göra ett upplägg med dyrare cacheskrivningar kostsammare än vanlig indata. OpenAI:s cacheguide anger att GPT-5.6 och senare kräver minst 1 024 synliga token i ett cachbart prefix och att en post kan återanvändas i minst 30 minuter efter senaste skrivning eller läsning.

Claude Sonnet 5.5 kan därför vara ett alternativ när den stabila instruktionen är kortare, medan OpenAI:s längre garanterade livslängd kan gynna anrop som kommer glest. Anthropics cacheguide anger en minimilängd på 512 token för Sonnet 5.5, fem minuters standardlivslängd och möjlighet att välja en timme mot högre skrivpris. För Claude räknas tiden från anropets start, så även tiden för att generera svaret tar av fönstret före nästa anrop.

Samma indatapris, olika cachevillkor

I OpenAI:s prislista kostar GPT-6.1 Sol vid Standard och kort kontext 2 dollar per miljon vanliga indatatoken, 2,50 dollar för cacheskrivning och 0,10 dollar för cacheläsning. Anthropics prislista anger samma baspris och läspris för Claude Sonnet 5.5: 2 dollar respektive 0,10 dollar per miljon token, med 2,50 dollar för femminutersskrivning och 4 dollar för timskrivning. Just detta modellpar har alltså samma indatapriser när Claude använder femminuterscache; det är inte en allmän regel för leverantörernas modeller.

Kalkylerna nedan är villkorade exempel. De antar att båda API:erna räknar exakt samma antal token, att det angivna prefixet verkligen skrivs och att varje angiven träff uppstår. Beloppen omfattar enbart indata vid de nämnda priserna: utdata, verktygsanrop, andra bearbetningsnivåer och eventuella regionala tillägg ligger utanför jämförelsen. Den som byter modell behöver också bedöma om den klarar samma uppgift med jämförbar kvalitet och mängd utdata.

Kort dialog: Claudes lägre gräns får betydelse

Anta fyra anrop med samma instruktion på 600 token och 200 nya token i varje anrop. Utan cache behandlas sammanlagt 3 200 indatatoken, vilket kostar 0,0064 dollar med endera modellens angivna baspris. För GPT-6.1 Sol är den stabila delen för kort för att cacha; den föränderliga delen gör inte ett längre prefix identiskt mellan anropen. Hos Claude Sonnet 5.5 kan en explicit cachegräns efter instruktionen däremot ge en skrivning och tre läsningar, förutsatt att anropen kommer i tid.

Med femminuterscache blir kostnaden då 600 × 1,25 + 600 × 3 × 0,05 + 800 = 1 640 token uttryckta till baspris, eller 0,00328 dollar. En timmes cache höjer skrivningen till dubbelt baspris och totalsumman till 2 090 bastoken, eller 0,00418 dollar. Skillnaden mot OpenAI i detta exempel kommer från gränsen för ett cachbart prefix. Om användaren dröjer längre än cachefönstret mellan anropen försvinner de antagna läsningarna och femminuterskalkylen gäller inte längre.

Lång systemprompt: en miss vänder kalkylen

Anta i stället tio anrop med 10 000 stabila token och 500 nya token per anrop. Utan cache behandlas 105 000 indatatoken, motsvarande 0,210 dollar för vardera modellen. Om det första anropet skriver den stabila delen och de följande nio läser den, blir kostnaden 12 500 bastoken för skrivningen, 4 500 för läsningarna och 5 000 för de nya delarna. Totalt är det 22 000 bastoken, eller 0,044 dollar med både GPT-6.1 Sol och Claude Sonnet 5.5 på femminuterscache.

Anta sedan att anropen startar med sex minuters mellanrum. Utan en träff som förnyar Claudes femminuterspost blir varje anrop en ny skrivning: tio skrivningar plus de föränderliga delarna motsvarar 130 000 bastoken, eller 0,260 dollar. Det är mer än 0,210 dollar utan cache, trots att prompten är identisk. En timmes Claude-cache ger i samma villkorade serie en skrivning och nio läsningar, motsvarande 29 500 bastoken eller 0,059 dollar. För GPT-6.1 Sol ligger sex minuter inom det garanterade fönstret som förnyas vid återanvändning, så den tidigare kalkylen på 0,044 dollar kan fortfarande gälla.

Brytpunkten för en enskild prefixdel går att räkna utan en hel dialog. En femminutersskrivning och en lyckad läsning kostar tillsammans 1,30 gånger baspriset för prefixet, mot 2 gånger om det behandlas vanligt vid båda anropen. En timmes skrivning kostar ensam som två vanliga behandlingar; först med två läsningar blir summan 2,10 mot 3 gånger baspriset. Det är antalet verkliga träffar på just den stabila delen som avgör, inte antalet anrop i sessionen.

Verktygstung agent: gränsen måste föregå resultatet

Anta sex anrop med 10 000 token fasta instruktioner och verktygsdefinitioner samt ett nytt verktygsresultat på 4 000 token i varje anrop. Med en cachegräns efter den fasta delen ger en skrivning och fem läsningar, tillsammans med de sex nya resultaten, 39 000 bastoken i femminuterskalkylen. Utan cache blir samma indata 84 000 bastoken. Exemplet förutsätter att verktygsresultaten skiljer sig mellan anropen men att instruktioner och verktygsdefinitioner förblir identiska.

Om den enda cachegränsen i stället läggs efter varje föränderligt resultat, och ingen tidigare post för den fasta delen finns, kan de sex anropen bli skrivningar av 14 000 token vardera. Då stiger kalkylen till 105 000 bastoken, mer än kostnaden utan cache. Hos Claude byggs prefixet i ordningen verktyg, systeminstruktioner och meddelanden; ändrade verktygsdefinitioner kan därför bryta även senare delar. Hos OpenAI kan ändrade verktygsscheman, formatinställningar eller kompakterad kontext på motsvarande sätt minska den del av ett tidigare prefix som matchar. Placeringen före ett dynamiskt verktygsresultat skyddar den återanvändbara delen i båda uppläggen.

Kostnadsbesparing säger inte allt om fördröjning

En studie av över 500 agentsessioner med 10 000 token långa systemprompter jämförde cachningsstrategier hos OpenAI, Anthropic och Google. I de testade agentflödena minskade API-kostnaderna med 41–80 procent och tiden till första token förbättrades med 13–31 procent. Forskarna fann också att cachning av hela den växande kontexten ibland ökade fördröjningen; resultaten beskriver dessa konfigurationer, inte en garanterad effekt för varje modell eller dialog.

För en kort, ofta upprepad instruktion kan minsta cachbara prefix avgöra valet. För en lång instruktion med glesare anrop blir livslängden och antalet nya skrivningar viktigare, medan en agent med skiftande verktygsresultat behöver en stabil gräns före den föränderliga delen. Den jämförbara kostnaden är summan av vanliga, skrivna och lästa indatatoken per avslutad uppgift, tillsammans med utdata och den fördröjning uppgiften faktiskt ger.

Läs också:

• Azure OpenAI eller direkt API: dataplaceringen kan kosta 10 procent
• Signal eller WhatsApp: båda krypterar, men lämnar olika spår
• Shopify eller WooCommerce: omsättningen kan vända kostnadsbilden