Claude prompt caching: ৫ মিনিটের লেখা ২৫% বেশি, পুনর্ব্যবহারে খরচ কম

Claude API-তে একই দীর্ঘ নির্দেশনা, নথি বা কথোপকথনের অংশ বারবার পাঠালে সেটি ক্যাশে রেখে পরের অনুরোধে পুনর্ব্যবহার করা যায়। Anthropic-এর মূল্যতালিকা অনুযায়ী ৫ মিনিটের ক্যাশে লেখা সাধারণ ইনপুটের চেয়ে ২৫% বেশি, ১ ঘণ্টার লেখা দ্বিগুণ; পরে ক্যাশে থেকে পড়ার দাম মডেলভেদে সাধারণ ইনপুটের একটি অংশ। তাই সাশ্রয় নির্ভর করে একই অংশ মেয়াদের মধ্যে আবার কতবার ব্যবহৃত হচ্ছে তার ওপর।

শুরু করতে অনুরোধের শীর্ষ স্তরে cache_control ফিল্ডে type-এর মান ephemeral দিন। Claude Platform-এর নির্দেশিকা অনুযায়ী এতে স্বয়ংক্রিয় ক্যাশে শেষ ক্যাশযোগ্য ব্লকে সীমানা বসায়; স্থির নথির পরে প্রতিবার আলাদা প্রশ্ন এলে নথির শেষ কনটেন্ট ব্লকে নির্দিষ্ট সীমানা বসানো বেশি উপযোগী। সফল ক্যাশে পাঠে আগে প্রক্রিয়াকৃত অংশ আবার পড়া হয়, ফলে সেই অংশের ইনপুট খরচ এবং উত্তর শুরু হওয়ার অপেক্ষা কমতে পারে।

কোন অংশটি হুবহু একই থাকতে হবে

ক্যাশে কেবল নির্বাচিত একটি বাক্য ধরে রাখে না। নির্ধারিত সীমানা পর্যন্ত পুরো প্রম্পটের শুরু থেকে অংশটি ধরে; ক্রম হলো টুলের সংজ্ঞা, সিস্টেম নির্দেশনা, তারপর বার্তা। ফলে নথি অপরিবর্তিত থাকলেও তার আগে থাকা টুলের সংজ্ঞা বা নির্দেশনা বদলালে একই সীমানায় আগের ক্যাশে মিলবে না।

ধরা যাক, একটি অটোমেশন একই দীর্ঘ নীতিমালা ব্যবহার করে আলাদা গ্রাহকের প্রশ্ন বিশ্লেষণ করে। নীতিমালা ও স্থায়ী নির্দেশনা আগে, আর গ্রাহকের প্রশ্ন, সময় বা অনুরোধভেদে বদলানো শনাক্তকারী পরে রাখুন। সীমানা যদি প্রতিবার বদলানো প্রশ্নের শেষে থাকে, প্রতিটি অনুরোধে নতুন ক্যাশে লেখা হতে পারে; নীতিমালা স্থির থাকলেই আগের লেখাটি স্বয়ংক্রিয়ভাবে পাওয়া যাবে না।

ক্রমবর্ধমান কথোপকথনে আগের বার্তাগুলো একই রেখে নতুন বার্তা শেষে যোগ করা হয়। সে ক্ষেত্রে নতুন অনুরোধ আগের লেখা অংশ খুঁজে পেতে পারে, আর নতুন অংশের জন্য আলাদা লেখা হয়। কিন্তু ইতিহাস সম্পাদনা বা পুনর্বিন্যাস করলে আগের সীমানা পর্যন্ত প্রম্পটের মিল নষ্ট হতে পারে।

স্বয়ংক্রিয় ক্যাশে, নাকি নির্দিষ্ট সীমানা

পদ্ধতি বাছাইয়ের প্রশ্ন হলো পরিবর্তনটি কোথায় ঘটছে। স্বয়ংক্রিয় ক্যাশে শেষ ক্যাশযোগ্য ব্লক পর্যন্ত লিখে; নির্দিষ্ট সীমানা স্থির অংশের শেষেই থামতে পারে। একই অনুরোধে দুই পদ্ধতি একসঙ্গেও ব্যবহার করা যায়, যদি স্থির নির্দেশনার পাশাপাশি বাড়তে থাকা কথোপকথন থাকে।

• শুধু নতুন বার্তা শেষে যোগ হচ্ছে: শীর্ষ স্তরের cache_control দিয়ে শুরু করুন। আগের ইতিহাস অক্ষত থাকলে স্বয়ংক্রিয় সীমানা কথোপকথনের সঙ্গে এগোয় এবং আগে লেখা অংশ পড়তে পারে।
• দীর্ঘ শুরুটা স্থির, শেষের প্রশ্ন প্রতিবার আলাদা: স্থির অংশের শেষ ব্লকে cache_control বসান। প্রশ্নটি সীমানার বাইরে থাকায় তার পরিবর্তনে স্থির নথির ক্যাশে লেখা বদলায় না।
• স্থির নির্দেশনা ও বাড়তে থাকা ইতিহাস দুটোই আছে: নির্দেশনার শেষে নির্দিষ্ট সীমানা এবং অনুরোধের শীর্ষ স্তরে স্বয়ংক্রিয় ক্যাশে ব্যবহার করুন। এতে স্থির নির্দেশনার জন্য একটি লেখা রাখা যায়, আর কথোপকথনের নতুন অংশ আলাদাভাবে এগোয়।

নির্দিষ্ট সীমানার ক্ষেত্রেও ক্যাশে পাঠ আগের লেখা অংশই খোঁজে; শুধু পেছনে স্থির লেখা আছে বলে সেখানে নতুন করে পাঠযোগ্য ক্যাশে তৈরি হয় না। তাই প্রতি অনুরোধে বদলানো ব্লকে সীমানা বসিয়ে পরে পাঠ শূন্য দেখলে প্রথমে সীমানাটি স্থির অংশের শেষে সরান। নথির সংস্করণ সত্যিই বদলালে নতুন লেখা স্বাভাবিক, কারণ তখন প্রম্পটের বিষয়বস্তুও বদলেছে।

একই দীর্ঘ অংশে দুটি খরচের হিসাব

নিচের হিসাবগুলো শর্তসাপেক্ষ উদাহরণ: প্রতিটি অনুরোধে একই ১০,০০০ টোকেনের অংশ আছে এবং সফল পাঠগুলো নির্বাচিত মেয়াদের মধ্যে শুরু হচ্ছে। উদাহরণের Claude Sonnet 4.6 এখনো সক্রিয়, তবে পুরোনো মডেল হিসেবে চিহ্নিত; এর মডেলভিত্তিক দরে প্রতি দশ লাখ টোকেনে সাধারণ ইনপুট ৩ ডলার, ৫ মিনিটের ক্যাশে লেখা ৩.৭৫ ডলার, ১ ঘণ্টার লেখা ৬ ডলার এবং ক্যাশে পাঠ ০.৩০ ডলার। নতুন প্রশ্ন, তৈরি উত্তর ও অন্য মূল্য-সমন্বয় হিসাবের বাইরে রাখা হয়েছে।

প্রথম পরিস্থিতিতে ওই স্থির অংশ মোট দুবার পাঠানো হলো। প্রতি অনুরোধে সাধারণ ইনপুটের খরচ ০.০৩ ডলার, তাই ক্যাশে ছাড়া দুবারে ০.০৬ ডলার। প্রথমবার ৫ মিনিটের ক্যাশে লিখলে ০.০৩৭৫ ডলার এবং পরেরবার সফল পাঠে ০.০০৩ ডলার—মোট ০.০৪০৫ ডলার। একটি সফল পুনর্ব্যবহারেই লেখার বাড়তি দাম উঠে যায়; এই স্থির অংশে সাশ্রয় ০.০১৯৫ ডলার। এটি পুরো অনুরোধের বিলের সাশ্রয় নয়, কারণ প্রশ্ন ও উত্তরের টোকেন বাদ রয়েছে।

দ্বিতীয় পরিস্থিতিতে একই অংশ মোট পাঁচবার লাগে: প্রথমবার লেখা, পরে চারবার সফল পাঠ। ক্যাশে ছাড়া খরচ ০.১৫ ডলার; ক্যাশে দিয়ে ০.০৩৭৫ ডলার লেখার সঙ্গে চারবার ০.০০৩ ডলার পাঠ যোগ হয়ে ০.০৪৯৫ ডলার। দুই হিসাবের পার্থক্য প্রম্পটের দৈর্ঘ্যে নয়, সফল পুনর্ব্যবহারের সংখ্যায়। একই ধরনের প্রশ্ন এলেও নথি বা সীমানা পর্যন্ত অন্য কোনো অংশ বদলে গেলে এই ফল পাওয়া যাবে না।

মেয়াদ বাড়ালে কখন উল্টো বেশি খরচ হয়

৫ মিনিটের মেয়াদ লেখা বা পাঠের অনুরোধ শুরু হওয়ার সময় থেকে গণনা হয়; সফল পাঠে মেয়াদ আবার শুরু হয়। তাই একই স্থির অংশ নিয়মিত ব্যবহৃত হলে ছোট মেয়াদও চালু থাকতে পারে। উত্তর তৈরি হতে বেশি সময় লাগলে পরের অনুরোধের জন্য অবশিষ্ট সময় কমে: ঘড়ি প্রথম উত্তর শেষ হওয়া পর্যন্ত অপেক্ষা করে না।

আগের উদাহরণে দ্বিতীয় অনুরোধ যদি ক্যাশের মেয়াদ শেষ হওয়ার পরে শুরু হয়, ৫ মিনিটের ক্যাশে আবার লিখতে হবে। দুই লেখায় ওই অংশের খরচ ০.০৭৫ ডলার, যেখানে সাধারণ ইনপুটে দুবারে ০.০৬ ডলার। মাত্র একটি পরের অনুরোধ ঘণ্টার মধ্যে আসবে বলে ১ ঘণ্টার মেয়াদ নিলেও একটি লেখা ও একটি সফল পাঠে ০.০৬৩ ডলার লাগে—সাধারণ ইনপুটের চেয়ে সামান্য বেশি।

কিন্তু ওই ঘণ্টায় আরও একটি সফল পাঠ হলে দীর্ঘ মেয়াদের একটি লেখা ও দুটি পাঠে মোট ০.০৬৬ ডলার, তিনবার সাধারণ ইনপুটে ০.০৯ ডলার। অতএব এক ঘণ্টার মেয়াদ যুক্তিসংগত কি না তা শুধু পরের অনুরোধের সময় দেখে বোঝা যায় না; মেয়াদের মধ্যে একই অংশ কয়বার পড়া হবে, সেটিও দরকার। এই দামের উদাহরণটি Claude Sonnet 4.6-এর: অন্য মডেলের ইনপুট ও ক্যাশে পাঠের দর বসালে ডলারের অঙ্ক বদলাবে।

ক্যাশে পাঠ শূন্য থাকলে কী দেখবেন

উত্তরের usage অংশে cache_creation_input_tokens নতুন লেখা এবং cache_read_input_tokens সফল পাঠ দেখায়। input_tokens শুধু ক্যাশে সীমানার পরের সাধারণ ইনপুটও হতে পারে; মোট ইনপুট বুঝতে তিনটি মান একসঙ্গে দেখতে হয়। লেখার জন্য বেশি আর পাঠের জন্য কম দাম থাকায় শুধু মোট টোকেন গুনে বিলের পরিবর্তন বোঝা যায় না। অনুরোধের সীমা নিয়েও কাজ করলে টোকেন ও ক্যাশের হিসাব একই usage তথ্য বুঝতে কাজে লাগবে।

• সীমানা পর্যন্ত নথি, নির্দেশনা ও টুলের সংজ্ঞা একই আছে কি না দেখুন। সময়, শনাক্তকারী বা নতুন প্রশ্ন স্থির অংশের ভেতরে ঢুকলে আগের লেখার সঙ্গে মিলবে না।
• নির্বাচিত মডেলের ন্যূনতম ক্যাশযোগ্য দৈর্ঘ্য পূরণ হয়েছে কি না দেখুন। Claude Sonnet 4.6-এর ক্ষেত্রে সীমা ১,০২৪ টোকেন; এর কম অংশ চিহ্নিত করলেও ক্যাশে তৈরি হয় না।
• প্রথম উত্তরের প্রবাহ শুরু হওয়ার আগেই পরের অনুরোধ পাঠানো হয়েছে কি না দেখুন। প্রথম লেখা তখনো পাঠের জন্য পাওয়া যায় না; পাশাপাশি পাঠানো অনুরোধে প্রত্যাশিত ক্যাশে পাঠ অনুপস্থিত থাকতে পারে।

প্রথম অনুরোধে লেখা এবং পরের অভিন্ন অনুরোধে পাঠ দেখা গেলে সীমানা কাজ করছে। এরপর বাস্তব অনুরোধগুলোর ব্যবধান ও সফল পাঠের সংখ্যা দিয়ে মেয়াদ বাছাই করুন; ঘন ঘন আসা অনুরোধে ৫ মিনিটের মেয়াদ পাঠের সঙ্গে নবায়িত হতে পারে, আর বিরতির পরে কমবার ব্যবহৃত অংশে দীর্ঘ মেয়াদের বাড়তি লেখার দাম উঠবে কি না তা হিসাবেই ধরা পড়বে।

আরও পড়ুন:

• Claude API-তে 429 এড়ান—token count আর cache-এর হিসাব আগে করুন
• Claude Fable 5.1-এ cache read ৭৫% সস্তা—মোট বিল ততটা কমবে না
• Claude চারবার বাস্তব system-এ ঢুকেছে—মূল ব্যর্থতা ছিল internet isolation