Claude kešatmiņa var sadārdzināt pirmo pieprasījumu — ietaupījums rodas vēlāk

Claude API uzvedņu kešatmiņa var sadārdzināt pirmo pieprasījumu, jo kopīgā satura ierakstīšana maksā vairāk nekā parasta ievade. Ietaupījums rodas tad, kad nākamie pieprasījumi šo pašu saturu nolasa no kešatmiņas. Claude Platform cenu tabulā piecu minūšu ieraksta tarifs ir 1,25 reizes, vienas stundas ieraksta tarifs — 2 reizes, bet parastais nolasījuma tarifs — 0,1 reize no ievades cenas; Claude Opus 5.5 un Claude Fable 5.1 nolasījuma tarifi ir zemāki.

Pie parastā nolasījuma tarifa piecu minūšu ieraksta piemaksu sedz viens veiksmīgs atkārtots pieprasījums, vienas stundas ieraksta piemaksu — divi. Lai tas notiktu, prefiksam jābūt pietiekami garam un nemainīgam, atkārtojumiem jāpienāk glabāšanas termiņā, un API atbildē jāparādās nolasītiem žetoniem. Ieslēgta kešatmiņa pati par sevi vēl nenozīmē trāpījumu.

Aprēķiniet slieksni pēc atkārtojumu skaita

Apzīmējiet nemainīgā prefiksa cenu bez kešatmiņas ar P, bet kopējo pieprasījumu skaitu, ieskaitot pirmo, ar N. Bez kešatmiņas par šo prefiksu būtu jāmaksā N × P. Pie parastā nolasījuma tarifa un tikai veiksmīgiem trāpījumiem piecu minūšu kešatmiņas cena ir 1,25P + (N − 1) × 0,1P, savukārt vienas stundas kešatmiņas cena ir 2P + (N − 1) × 0,1P. Atņemot šīs summas no N × P, redzams, cik atkārtojumu vajadzīgs ieraksta piemaksas segšanai.

Nosacītajā piemērā visiem pieprasījumiem ir viens un tas pats kešojamais prefikss, un katrs nākamais pieprasījums trāpa iepriekšējā ierakstā. Summas izteiktas P vienībās, lai aprēķins nebūtu piesaistīts konkrēta modeļa cenai.

• Pie viena pieprasījuma parastā cena ir 1P, piecu minūšu ieraksts maksā 1,25P, bet vienas stundas ieraksts — 2P. Nolasījuma vēl nav.
• Pie diviem pieprasījumiem parastā cena ir 2P. Piecu minūšu ieraksts un viens nolasījums maksā 1,35P; vienas stundas variants — 2,1P.
• Pie trim pieprasījumiem parastā cena ir 3P. Piecu minūšu variants maksā 1,45P, bet vienas stundas variants — 2,2P. Abi jau ir lētāki par atkārtotu parastu ievadi.
• Pie desmit pieprasījumiem parastā cena ir 10P, piecu minūšu variants — 2,15P, vienas stundas variants — 2,9P. Šīs summas paredz, ka visi deviņi atkārtojumi ir trāpījumi.

Formula salīdzina tikai kopīgo prefiksu. Mainīgais lietotāja jautājums aiz kešatmiņas robežpunkta un atbildes izvade joprojām tiek uzskaitīti atsevišķi. Ja daļa atkārtojumu rada jaunus ierakstus, aprēķinā katrs no tiem jāaizstāj ar attiecīgā ieraksta cenu; pieprasījumu skaits vien vairs neparāda faktisko ietaupījumu.

Izvēlieties termiņu pēc pieprasījumu ritma

Vienas stundas termiņš atmaksājas, ja tas saglabā trāpījumus, kurus īsākais termiņš zaudētu. Ja abi termiņi nodrošina vienādus nolasījumus, piecu minūšu ieraksts ir lētāks. Kešatmiņas darbības laiku skaita no pieprasījuma sākuma, un veiksmīga nolasīšana to atjauno; tādēļ virkne ar īsām pauzēm var turpināt izmantot īso termiņu ilgāk par piecām minūtēm kopš pirmā ieraksta.

Citā nosacītā situācijā trīs pieprasījumi pienāk ar tik garām pauzēm, ka katrs piecu minūšu ieraksts jau ir beidzies, bet vienas stundas ieraksts joprojām ir derīgs. Tad atkārtoti īsie ieraksti kopā maksātu 3,75P, garais ieraksts ar diviem nolasījumiem — 2,2P, bet parasta ievade — 3P. Šajā situācijā garākais termiņš dod ietaupījumu, lai gan tā pirmais ieraksts ir dārgāks. Vienas stundas termiņu norāda `cache_control` laukā ar `ttl` vērtību `1h`.

Atstājiet mainīgās vērtības aiz prefiksa

Claude pieprasījuma kešojamais prefikss veidojas secībā `tools`, `system`, `messages`. Tāpēc nemainīgas rīku definīcijas, sistēmas norādes un kopīgais konteksts jānovieto pirms katra pieprasījuma īpašajiem datiem. Ja lietotāja jautājums katrreiz mainās, `cache_control` robežpunktu novieto uz pēdējā stabilā satura bloka pirms šā jautājuma.

Claude Platform izmaksu skaidrojumā norādīts, ka trāpījumam vajadzīga precīza prefiksa sakritība tajā pašā modelī: mainīgs laika zīmogs vai pieprasījuma ID sistēmas norādēs, tāpat kā pārkārtotas rīku definīcijas, to pārtrauc. Šādas vērtības lieciet aiz stabilā robežpunkta. Pretējā gadījumā vienāda galvenā instrukcija var tikt ierakstīta no jauna pie katra pieprasījuma.

Automātiskā kešatmiņa pārvieto robežpunktu uz pēdējo piemēroto bloku, sarunai augot. Tas palīdz tad, ja jaunais pieprasījums saglabā iepriekšējo sarunu nemainīgu un pievieno tai saturu. Pieprasījumu sērijā ar vienu kopīgu kontekstu, bet katrreiz citu jautājumu, skaidrs robežpunkts kopīgā satura beigās dod paredzamāku rezultātu: mainīgais jautājums neietilpst kešatmiņas ierakstā.

Nosakiet atteices iemeslu pēc `usage` laukiem

Claude Platform kešatmiņas dokumentācijā `usage` lauks `cache_creation_input_tokens` apzīmē ierakstītos žetonus, `cache_read_input_tokens` — nolasītos, bet `input_tokens` — pārējo ievadi aiz pēdējā robežpunkta. Kopējo ievades žetonu skaitu iegūst, šos trīs laukus saskaitot. Ierakstus pa termiņiem papildus sadala `cache_creation.ephemeral_5m_input_tokens` un `cache_creation.ephemeral_1h_input_tokens`.

1. Ja pirmajā atbildē ierakstīto žetonu skaits ir lielāks par nulli, bet nolasīto ir nulle, prefikss ir saglabāts. Nākamo pieprasījumu ar identisku prefiksu sūtiet pēc tam, kad pirmā atbilde sākusi pienākt: pirms tam ieraksts vēl nav pieejams citiem pieprasījumiem.
2. Ja nākamajā atbildē `cache_read_input_tokens` ir lielāks par nulli, ir noticis trāpījums. Ja arī `cache_creation_input_tokens` ir lielāks par nulli, daļa ievades ir nolasīta, bet jauna daļa ierakstīta. Izmaksas šādā gadījumā rēķiniet pēc abiem žetonu skaitiem.
3. Ja abi kešatmiņas lauki ir nulle, pārbaudiet robežpunktu un modeļa minimālo prefiksa garumu. Claude Sonnet 4.6 minimums ir 1024 žetoni, bet Claude Haiku 4.5 — 4096 žetoni. Īsāks prefikss tiek apstrādāts bez kešošanas un bez kļūdas paziņojuma.
4. Ja katrā reizē redzams jauns ieraksts, bet nav nolasījuma, salīdziniet saturu no `tools` sākuma līdz robežpunktam, kā arī modeli un laiku starp pieprasījumiem. Laika zīmogs, ID vai izmainīta rīka definīcija pirms robežpunkta rada citu prefiksu; pēc termiņa beigām arī nemainīgs prefikss jāieraksta no jauna.

Par reālo ietaupījumu spriediet pēc ierakstīto un nolasīto žetonu attiecības visā pieprasījumu sērijā. Tā atšķirsiet dārgu pirmreizēju ierakstu, kas vēlāk atmaksājas, no virknes atkārtotu ierakstu bez trāpījumiem.

Lasiet arī:

• Claude Code vai GitHub Copilot CLI: izvēli nosaka limiti un pārvaldība
• Rocket EVA ievieš bremzi MI aģentiem — darbību var apturēt pirms izpildes
• Linktree vai Beacons: bezmaksas plāns var izmaksāt 12% no pārdošanas