Local LLM үргэлж хямд биш: cache хийсэн API нэгж өртгөөр ялжээ

|Зохиогч: QUASA редакцын баг|5 мин уншина| 1
Local LLM үргэлж хямд биш: cache хийсэн API нэгж өртгөөр ялжээ

Local LLM ажиллуулах нь API-ийн төлбөрөөс автоматаар хямдрахгүй. Код бичих агентын дараалсан хоёр 28 хоногийн кейс судалгаанд оролтын кэшийн hit rate 99.3% хүрснээр API-ийн бодит төлбөр 88.6% буурч, боловсруулсан сая токен тутамд $0.57 болсон нь хуваан ашигласан дотоод GPU-ийн $2.83 нэгж өртгөөс бага байв. Энэ бол тодорхой тохиргооны хэмжилт; нийт төлбөрийг дан ганц нэгж үнээр шийдэх боломжгүй.

Байгууллагын бодит сонголтод кэшээс дахин унших оролтын хэмжээ, GPU-ийн ачаалал, цахилгаан ба инженерийн ажлын цаг, код засварын ачаалал зэрэгцэн нөлөөлнө. Судалгааны API тал нэгж токеноор хямд байсан ч хуваан ашигласан GPU-тай хувилбарын тооцоолсон нийт өртөг доогуур гарсан; GPU-г бүтэн хугацаанд тусгайлан нөөцлөхөд үр дүн эсрэгээрээ эргэсэн. Иймээс ижил хугацааны төлбөрийг хийсэн ажлын хэмжээ, шаардлага хангасан үр дүнтэй хамт харьцуулах нь илүү утгатай.

Нэгж токены үнэ яагаад нийт төлбөрийг илэрхийлэхгүй вэ

Кейсийг нэг хөгжүүлэгч ажиллаж буй кодын санд хоёр өөр хугацаанд хийсэн. API хугацаанд Claude Code ба Claude Opus 4.7/4.8, дотоод хугацаанд Opencode ба NVFP4 хэлбэрт шахсан GLM-5.1/5.2-г NVIDIA Blackwell GPU дээр ашигласан. Энэ нь ижил даалгаврыг санамсаргүй хуваарилж туршсан хяналттай benchmark биш: загвар, агентын хэрэгсэл, хугацаа хамт өөрчлөгдсөн. Тиймээс гарсан зөрүүг зөвхөн загварт эсвэл GPU-д хамааруулж болохгүй.

API тохиргоо дотоод тохиргооноос 16.9 дахин олон токен боловсруулсан тул хямд нэгж үнэ нь өндөр нийт нэхэмжлэлийг арилгаагүй. Дотоод талын нэгж өртгийг тухайн хөгжүүлэгчид хуваарилсан GPU цагийг түүний боловсруулсан токенд хувааж гаргасан; GPU-г бусад ажилтай хуваалцаж чадвал нэг хэрэглэгчид ногдох зардал өөрчлөгдөнө. Токены тоо мөн дууссан ажлын чанарыг шууд хэмждэггүй: агент дахин оролдож, засвар хийхэд хэрэглэсэн токен ч тоонд ордог.

Тайванийн цалин, цахилгаан, ажиллагааны нөхцөлөөр хийсэн тооцоонд хуваан ашигласан дотоод хувилбарын харьцуулсан нийт өртөг API-ээс 40.1% бага, тусгайлан нөөцөлсөн GPU-ийнх 43.8% өндөр гарсан. Дотоод тохиргоонд засварын commit нийт commit-ийн 74.9%, API тохиргоонд 45.9% байжээ. Тоног төхөөрөмжийн цагийн үнэлгээ нь хуваарилалтын загвар бөгөөд Монголд GPU худалдаж авах бодит үнийг хэмжсэн дүн биш. Эхний хөгжүүлэлтийн хөдөлмөрийг хоёр талд нийтлэг гэж үзэн хассан учраас эдгээр хувь нь байгууллагын бүх хөгжүүлэлтийн төсөвтэй тэнцэхгүй.

Кэшийн хэмнэлт ямар үед бий болдог вэ

Prompt cache нь давтагдах заавар, кодын контекст, өмнөх харилцан ярианы тогтвортой хэсгийг дараагийн хүсэлтэд шинээр боловсруулах шаардлагыг багасгадаг. Claude-ийн кэшийн баримт бичигт богино хугацааны кэш бичилт ердийн оролтоос илүү, кэшээс уншилт бага үнэтэй гэж заасан. Өөрөөр хэлбэл кэш үүсгэхэд төлбөр төлнө; ижил хэсэг олон удаа ашиглагдаж байж тэр нэмэлт төлбөр нөхөгдөнө.

Код бичих агент нэг сангийн файлууд, системийн заавар, хэрэгслийн тодорхойлолтыг олон хүсэлтэд давтан явуулдаг тул дээрх хэмжилтэд кэшийн ашиг өндөр байжээ. Харин хүсэлт бүрийн оролт өөр, эсвэл кэшийн хүчинтэй хугацаанд дахин давтагддаггүй ажилд ийм хэмнэлт гарахгүй. API-ийн зардлыг тооцоход энгийн оролт, кэш бичилт, кэш уншилт, гаралтыг тус тусад нь үржүүлэх шаардлагатай; бүх токенд тарифын нэг мөр хэрэглэвэл бодит нэхэмжлэлээс холдоно.

Бага ачааллын хүснэгтэд ямар зардал давамгайлав

SitePoint-ийн TCO жишээнд өдөрт 500 мянган токентой ачааллын жилийн OpenAI API төлбөр $1,260, open-weight hosted API төлбөр $360, хэрэглэгчийн local төхөөрөмжийн нийт мөр $6,457 гэж гарсан. Хүснэгт 2025 оны дунд үеийн үнэ, АНУ-ын цахилгааны тариф, цагийн $75 ажиллагааны хөдөлмөрийн үнэлгээнд тулгуурладаг. Тасалдалтай, бага хэрэглээнд GPU сул зогссон ч худалдан авалт, засвар үйлчилгээний зардал хэвээр үлдэх нь API-ийн хэрэглэсэн хэмжээгээрээ төлөх давуу талыг тайлбарлана.

Гэхдээ хүснэгтийн $6,457-ыг шууд жилийн бэлэн мөнгөний гаралт гэж унших нь буруу. Түүнд төхөөрөмжийн бүтэн үнэ болон мөн төхөөрөмжийн жилийн элэгдлийг хоёуланг нь нэмсэн тул хөрөнгийн зардлыг давхар тоолжээ; API талд холболт, хяналт, дахин хүсэлт боловсруулах инженерийн хөдөлмөрийг оруулаагүй. Хүснэгтийн API төлбөрийг мөн зарласан токены харьцаа, тарифаар нь дахин бодох шаардлагатай. Тиймээс эдгээр дүн яг тэнцэх босго болж чадахгүй, харин бага ачаалалд тогтмол зардал яагаад хүнд тусдгийг харуулна.

Өндөр ашиглалтын загвар өөр өрсөлдөгчтэй

Lenovo Press-ийн өртгийн загвар 8×H200 бүхий ThinkSystem SR675 V3 худалдан авахыг түүнтэй дүйцэх Azure GPU instance түрээслэхтэй харьцуулжээ. Үйлдвэрлэгчийн тооцоонд гурван жилийн нөөцлөлтийн үнэтэй харьцах тэнцлийн хугацаа 13.4 сар, таван жилийн үнэтэй харьцах нь 14.8 сар. Эдгээр нь серверийн өөрийн үнэ, цагийн ажиллагааны зардал, тасралтгүй ашиглалтын таамагт суурилсан загварын үр дүн юм.

Энд cloud тал нь бэлэн LLM-ийн token API биш, GPU түрээс юм. Түрээсэлсэн GPU дээр загвар ажиллуулах инженерийн үүрэг байгууллагад үлддэг бол бэлэн API-д тэр дэд бүтцийн ажлыг үйлчилгээ үзүүлэгч хариуцдаг. Иймээс Lenovo-ийн тэнцлийн хугацаа cached API-ийн дээрх нэгж өртөгтэй шууд харьцуулагдахгүй; харин тогтвортой өндөр ачаалал төхөөрөмжийн үнийг олон ажилласан цагт хувааж чаддагийг харуулна. Оргил ачаалал цөөн цаг үргэлжилдэг байгууллагад ашиглагдаагүй хүчин чадлын өртөг энэ давуу талыг багасгана.

Монголын байгууллагын тооцоонд юу өөрчлөгдөх вэ

Ижил ачаалал, ижил хугацаанд дотоод хувилбарын өртгийг төхөөрөмжийн төлбөр буюу элэгдэл, импорт ба хүргэлт, цахилгаан, хөргөлт, засвар үйлчилгээ, ажиллагаа хариуцах инженерийн цаг гэж салгаж үзнэ. Цахилгааны зардалд төхөөрөмжийн ачаалалтай ба сул үеийн хэрэглээг тус тус тооцож, тухайн байгууллагын бодит гэрээний тарифыг хэрэглэнэ. Дээрх Тайвань, АНУ дахь үнэ, цалинг Монголын нөхцөлд шууд шилжүүлбэл тэнцлийн цэг хийсвэр болно.

API талд кэштэй болон кэшгүй токены бодит бүтэц, гаралт, давтан хүсэлт, холболт ба хяналтын ажил орно. Хоёр хувилбарын алинд ч чанарын шалгалт, алдаа засварын цагийг орхиж болохгүй. Кодчиллын кейс дэх засварын commit-ийн зөрүү нь тухайн хөгжүүлэгчийн ажлын түүхэнд хамаарах бөгөөд Монголын багийн бүтээмжийн бэлэн коэффициент биш. Тэнд засвар бүрт ижил хугацаа оноож хөдөлмөрийн өртгийг тооцсон тул бодит багт тэр хугацааг өөрийн бүртгэлээр солих хэрэгтэй.

Харьцуулалтын эцсийн хэмжүүр нь шаардлага хангасан дууссан ажилд ногдох нийт зардал юм. Хэрэв дотоод GPU-г бусад төсөлтэй үнэхээр хуваалцаж чадвал сул цагийн өртөг буурна; хэрэв ачаалал тасалдалтай, кэшийн уншилт их байвал API-ийн хувьсах төлбөр ашигтай болж болно. Сонголтыг эргүүлдэг гол хувьсагчид болох төхөөрөмжийн бодит ашиглалт, засварын хөдөлмөрийг токены нэхэмжлэлээс тусад нь тооцох шаардлагатай.

Мөн уншаарай:

Хуваалцах:

Холбоотой нийтлэлүүд

Мэдээллийн товхимолд бүртгүүлэх

Web3, AI болон криптоны шинэ мэдээг шууд имэйл хайрцагтаа аваарай.

0