OpenAI эсвэл Claude prompt cache: буруу хил latency-г өсгөнө

Урт system prompt, давтагдах tool schema-тай агентын хувьд OpenAI эсвэл Claude-ийн аль алинд өөрчлөгддөггүй prefix-ийн төгсгөлд cache-ийн хил тавих нь өртөг бууруулах үндсэн арга. OpenAI-ийн prompt caching заавар шинэ загваруудад автомат болон хөгжүүлэгчийн сонгосон breakpoint ашиглаж болохыг, мөн GPT-5.6 ба түүнээс шинэ загварт cache хийх prefix дор хаяж 1024 токентой байхыг тайлбарладаг. Харин хувьсах хайлтын үр дүнг хадгалах хэсэгт оруулбал дараагийн хүсэлт өмнөх бичилтийг бүрэн ашиглахгүй.

Claude-д мөн автомат болон block түвшний тохиргоо бий. Claude-ийн cache-ийн зааварт автомат горимыг хүсэлтэд cache_control нэмж идэвхжүүлдэг, харин тодорхой content block дээр cache_control тавьж тогтвортой хэсгийн хилийг сонгодог гэж заасан. Урт RAG эсвэл агентын ажилд үйлчилгээний нэрээс илүү ижил prefix хэдэн удаа давтагдах, хүсэлтүүд cache хүчинтэй байх хугацаанд ирэх, бодит hit болон эхний токен ирэх хугацаа ямар байх нь сонголтыг шийднэ.

Хил нь ямар агуулгыг хадгалах вэ?

Cache нь prompt доторх дурын ижил өгүүлбэрийг хайдаггүй; хүсэлтийн эхнээсээ ижил дараалалтай хэсгийг дахин ашигладаг. OpenAI-ийн шинэ загваруудын implicit горим сүүлийн тохирох мессежийн төгсгөлд хил сонгоно. Explicit горимд prompt_cache_options.mode утгыг explicit болгож, хадгалах input content block дээр prompt_cache_breakpoint тавина. Ингэснээр сүүлийн тэмдэглэсэн хилийн дараах хувьсах агуулга ердийн input тарифаар боловсруулагдаж, хэрэггүй cache бичилтэд орохгүй.

OpenAI-ийн дээд түвшний instructions талбарт explicit breakpoint тавих боломжгүй. Давтагдах developer зааврыг тийнхүү хадгалах бол developer мессежийн input_text block-д байрлуулж, тэр block-ийн төгсгөлд хил тавина. Хэрэв explicit горимыг сонгочхоод breakpoint оруулахгүй бол хүсэлт cache бичихгүй. Энэ ялгаа нь «cache идэвхтэй» гэсэн тохиргоо харагдаж байгаа мөртлөө уншилтын токен гарахгүй байх нэг шалтгаан болно.

Claude хүсэлтийг tools, system, messages гэсэн дарааллаар нэг prefix болгон авч үздэг. Тогтвортой tool definition болон system зааврын сүүлийн block дээр cache_control тавиад, шинэ асуулт болон tool result-ийг түүнээс хойш байрлуулах нь ижил эхлэлийг хадгална. Автомат горим нь яриа уртсахад хилийг сүүлийн боломжтой block руу шилжүүлдэг тул ээлж бүрт өөрчлөгдөх suffix-тэй хүсэлтэд тогтмол хилийг тусад нь заах нь илүү тодорхой.

Хоёр талд tool-ийн нэр, schema эсвэл дараалал өөрчлөгдвөл тэдгээрийн дараах prefix таарахгүй байж болно. Иймээс агентын үндсэн tool definition-ийг ижил хэвээр дамжуулж, зөвхөн тухайн хүсэлтэд хамаарах үр дүнг дараа нь оруулах бүтэц хэрэгтэй. RAG баримт олон хүсэлтэд яг ижил хувилбар, ижил дарааллаар ордог бол тогтвортой хэсэгт багтаж болно; асуулт бүрт эрэмбэлэгддэг хэсэг тийш орох ёсгүй.

10 мянган токены давталт ямар үнэтэй вэ?

Зөвхөн cache-ийн тарифыг харьцуулахын тулд ижил суурь input үнэтэй хоёр загвар сонгоё. OpenAI-ийн стандарт API тарифаар GPT-6 Astra-ийн нэг сая ердийн input токен $10, cache бичилт $12.50, cache уншилт $1 байна. Claude-ийн API тарифаар Claude Fable 5.1-ийн харгалзах үнэ $10, таван минутын бичилт $12.50, уншилт $0.25; нэг цагийн бичилт $20 байна. Адил суурь үнэ нь эдгээр загварын хариултын чанар, токенчлол эсвэл бодит хурд адил гэсэн үг биш.

Дараах нь нөхцөлт тооцоо: 10,000 токентой system prefix хүсэлт бүрт яг ижил, эхний хүсэлт түүнийг нэг удаа бичнэ, үлдсэн хүсэлт бүр өмнөх бичилт хүчинтэй байхад бүрэн hit авна гэж үзэв. Ердийн input тарифаар нэг хүсэлтийн тэр хэсэг $0.10. Таван минутын cache-д эхний бичилт аль алинд нь $0.125; дараагийн бүрэн уншилт GPT-6 Astra-д $0.01, Claude Fable 5.1-д $0.0025 болно. Тиймээс нийт үнэ нь эхний бичилтийн төлбөр дээр дараагийн уншилтын тоог нэмж бодсон дүн юм.

• 10 хүсэлт: cache-гүйгээр загвар тус бүрт $1; GPT-6 Astra-д $0.215, Claude Fable 5.1-д $0.1475.
• 100 хүсэлт: cache-гүйгээр загвар тус бүрт $10; GPT-6 Astra-д $1.115, Claude Fable 5.1-д $0.3725.
• 1000 хүсэлт: cache-гүйгээр загвар тус бүрт $100; GPT-6 Astra-д $10.115, Claude Fable 5.1-д $2.6225.

Энэ тооцоо зөвхөн давтагдах prefix-ийн input төлбөрийг хамарна. Хувьсах RAG агуулга, tool result, гаралтын токен, tool-ийн өөрийн төлбөр болон өөр нэмэлт үйлчилгээний үнэ ороогүй. Хүсэлтүүд зэрэг эхэлж эхний cache бичилт ашиглахад бэлэн болоогүй, эсвэл хугацаа дууссаны дараа дахин ирсэн бол шинэ бичилт үүсэж, дээрх дүн өснө. Claude-ийн нэг цагийн cache нь илүү урт завсарт хэрэгтэй байж болох ч бичилтийн өндөр үнийг дараагийн hit-үүд нөхөх шаардлагатай.

Динамик tool result яагаад саатал нэмдэг вэ?

Агент веб хайлт эсвэл өгөгдлийн сангийн үр дүнг авчирдаг бол хариуны агуулга, дараалал хүсэлт бүрт өөр байж болно. Тэр үр дүнг тогтвортой system зааврын өмнө оруулбал ижил заавар байсан ч хүсэлтийн эхлэл өөрчлөгдөнө. Үр дүнг зааврын дараа, cache-ийн хилийн цаана байрлуулбал тогтвортой хэсгийг дахин унших боломж үлдэж, шинэ мэдээлэл ердийн input хэлбэрээр боловсруулагдана.

DeepResearch Bench дээрх агентын cache стратегийн судалгаанд 500-аас олон сесс, 10,000 токентой system prompt ашиглан OpenAI, Anthropic, Google-ийн тухайн үеийн загваруудыг харьцуулжээ. Туршсан тохиргоонуудад cache ашиглахад API өртөг 41–80%, эхний токен ирэх хугацаа 13–31% буурсан. Харин бүх контекстыг сохроор cache хийх зарим хувилбарт динамик tool дуудлага, үр дүн дахин ашиглагдахгүй бичилт үүсгэж, саатлыг өсгөсөн. Энэ нь тухайн benchmark-ийн үр дүн болохоос дээрх тарифын жишээнд сонгосон загваруудад хэмжсэн үзүүлэлт биш.

Tool result-ийг cache-ээс салгах нь өмнө хадгалсан ярианы бүх хэсгийг хаяна гэсэн үг биш. Олон ээлжийн нэг сессэд өмнөх мессежүүд дараагийн хүсэлттэй яг таарвал нэмэлт prefix-ийг дахин ашиглаж болно. Гэхдээ өөр өөр хэрэглэгч, өөр хайлтын үр дүнтэй сессүүдийн хооронд найдвартай давтагдах хэсэг нь ихэвчлэн system заавар болон тогтмол tool schema байдаг. Аль хэсгийг хадгалах нь тухайн агуулга хэр удаан, хэр олон хүсэлтэд өөрчлөгдөхгүй байхаас хамаарна.

Hit-ийг төлбөр, TTFT-тэй хамт унш

Cache-ийн үр ашгийг зөвхөн хүсэлтийн тоогоор хэмжвэл зураг гажна: жижиг prefix дээр олон hit авах нь урт prefix-ийг цөөн удаа ашигласнаас өөр төлбөртэй. OpenAI-ийн Responses API-д usage.input_tokens_details.cached_tokens болон cache_write_tokens-ийг нийт input_tokens-тэй хамт харна; ердийн тарифаар боловсруулсан хэсэг нь нийт input-ээс уншсан, бичсэн токеныг хассан үлдэгдэл. Claude-д cache_read_input_tokens, cache_creation_input_tokens, input_tokens гурвыг нийлүүлж хүсэлтийн нийт input-ийг гаргана.

Нэг удаагийн hit нь агентын бүх ажлыг хурдлуулсныг илэрхийлэхгүй. Эхний токен ирэх хугацаа буюу TTFT-ийг hit болон miss хүсэлтээр нь салгаж, нийт хугацааг tool хүлээлт болон гаралт үүсгэх хугацаатай хамт харах хэрэгтэй. Cache-д хүрсэн токены хувь өндөр мөртлөө шинэ бичилт олон давтагдвал оролтын төлбөр төлөвлөснөөс өсөж болно. Ижил даалгавар, ижил prompt бүтэцтэй давталтаар хэмжихэд provider-ийн тарифын нөлөө ба хилийн байрлалын нөлөөг ялгах боломжтой.

Аль тохиргоо илүү тохирох вэ?

Ижил урт заавар ойр ойрхон давтагдаж, шинэ мэдээлэл түүний дараа ордог бол хоёр API хоёулаа cache-ийн ашиг өгөх боломжтой. OpenAI-ийн implicit горим өсөж буй ярианд тохиромжтой; хувьсах suffix-д cache бичихээс зайлсхийх шаардлагатай үед шинэ загварын explicit хил илүү нарийн удирдлага өгнө. Claude-ийн автомат горим мөн ярианы түүхийг дагаж урагшилдаг, харин system заавар ба шинэ tool result-ийн заагийг тогтвортой барихад block түвшний cache_control тохиромжтой.

Үнэ сонгохдоо нэг сая токены read тарифыг дангаар нь харах хангалтгүй. Prefix-ийн хэмжээ, хүчинтэй хугацаан дахь давталт, дахин бичих давтамж болон тухайн даалгаврын TTFT хамт шийдвэрт орно. Дээрх нөхцөлт тооцоо тогтвортой system prompt олон давтагдвал input төлбөр хэрхэн өөрчлөгдөхийг харуулна; бодит агентын хувьд хамгийн чухал ялгаа нь динамик агуулгыг хаанаас эхлүүлж, cache-д хэдэн токен үнэхээр дахин уншуулж чадсанд бий.

Мөн уншаарай:

• OpenAI API эсвэл Azure OpenAI: ижил загварын саатал ижил биш
• FTC OpenAI, Anthropic-ийг шалгаж эхлэв: агентын аюул хэрэглэгчийн хэрэг болов
• Local LLM үргэлж хямд биш: cache хийсэн API нэгж өртгөөр ялжээ