Lokalni ali oblačni LLM: predpomnjenje lahko obrne računico stroškov

Med lokalnim LLM in oblačnim API izberite glede na celotni strošek uspešno opravljene naloge, ne glede na ceno milijona žetonov. Pri majhnem ali neenakomernem prometu so fiksni stroški lokalne opreme težko upravičljivi; pri stalni in dobro izkoriščeni obremenitvi lahko lokalna rešitev pridobi. Analiza SitePointa v primerjavo vključuje opremo, elektriko in operativno delo, vendar njene cenovne predpostavke temeljijo na podatkih iz sredine leta 2025.

Predpomnjenje lahko oblačno možnost poceni, kadar zahtevki pogosto vsebujejo isti začetni del poziva. Hibridno usmerjanje je smiselno, če lokalni model dovolj dobro opravi rutinske naloge, API pa prevzame zahtevnejše naloge ali prometne konice. Vse tri možnosti primerjajte pri enaki zahtevani kakovosti: poceni odgovor izgubi prednost, če ga je treba popravljati ali zahtevek ponoviti.

Kako predpomnjenje spremeni račun za API

Predpomnilnik omogoča ponovno uporabo nespremenjenega začetnega dela poziva; novi del vhoda mora model še vedno obdelati, odgovor pa ustvariti na novo. Dokumentacija OpenAI o predpomnjenju opisuje ujemanje začetnega dela poziva in ločeno obračunavanje običajnih, predpomnjenih ter v predpomnilnik zapisanih vhodnih žetonov. Popusta zato ni pravilno uporabiti na celoten račun, ki vključuje tudi izhodne žetone.

Uporabna mera je delež predpomnjenih vhodnih žetonov med vsemi vhodnimi žetoni, ne delež zahtevkov, pri katerih je bil zabeležen kakršen koli zadetek. Če se navodila, sheme orodij ali zgodovina pogovora spreminjajo zgodaj v pozivu, se poznejši del ne ujema več s shranjenim začetkom. Kratki ponovljeni odseki in dolgi presledki med podobnimi zahtevki lahko prav tako zmanjšajo korist, zato je treba upoštevati dejansko obračunano uporabo.

V študiji kodirnih agentov je konfiguracija z oblačnim API pri 99,3-odstotni stopnji zadetkov predpomnilnika dosegla 88,6-odstotno znižanje dejanskega stroška API, na 0,57 USD za milijon žetonov; amortizirani strošek primerjanega deleža lokalne zmogljivosti je znašal 2,83 USD. Skupni izid je bil drugačen: pri deljeni lokalni opremi je bil izračunani celotni strošek lokalne možnosti nižji, pri namensko rezervirani opremi pa višji od stroška predpomnjenega API. Študija zajema enega razvijalca, zaporedni obdobji in različni konfiguraciji modelov, zato njene stopnje prihranka ni mogoče prenesti na poljubno aplikacijo.

Preglednica celotnih stroškov za slovensko ekipo

Vse možnosti ovrednotite za isto obdobje, isti nabor nalog in enak prag sprejemljive kakovosti. Preglednica naj loči stroške, ki nastanejo tudi brez zahtevkov, od stroškov, ki rastejo s prometom. Tako postane razvidno, ali prednost lokalne opreme izhaja iz njene dejanske zasedenosti ali zgolj iz primerjave s polno ceno žetonov API.

• Promet: vhodni in izhodni žetoni po mesecih, delež predpomnjenega vhoda, porazdelitev zahtevkov čez dan ter prometne konice.
• Oblačni API: pogodbene cene običajnega vhoda, branja in zapisovanja predpomnilnika ter izhoda; dodajte stroške integracije, nadzora in ponovnih poskusov.
• Lokalni model: nakup ali najem opreme, preostala vrednost, poraba pri obremenitvi in mirovanju, hlajenje, delo DevOps, vzdrževanje ter rezerva za izpad.
• Hibrid: lokalni fiksni stroški, delež zahtevkov za API, strošek usmerjanja in ponovitev, kadar lokalni odgovor ne doseže praga kakovosti.
• Izid: celotni strošek v obdobju in strošek na uspešno nalogo, skupaj z doseženo kakovostjo ter zakasnitvijo pri običajnem prometu in konici.

Strošek API izračunajte iz vsote posebej obračunanih vrst vhodnih žetonov in izhodnih žetonov. Pri lokalni opremi za izbrano obdobje upoštevajte nakupno ceno, zmanjšano za predvideno preostalo vrednost, nato dodajte energijo in delo. Če nakup že vključite kot denarni izdatek, amortizacije ne prištevajte še enkrat. Primerjava mora biti dosledna tudi pri hibridu: lokalni del ostane strošek, čeprav del prometa pošljete v API.

Za elektriko uporabite svojo pogodbo in izmerjeno porabo celotnega sistema, tudi kadar miruje. SURS je za negospodinjske odjemalce v Sloveniji v drugem četrtletju 2026 objavil povprečno ceno 0,139 EUR/kWh brez DDV; povprečje ni tarifa posameznega podjetja. V pogojnem primeru naprava s povprečno porabo 1 kW, ki deluje 8 ur na dan 30 dni, pri tej ceni porabi za 33,36 EUR elektrike brez DDV. To še ne zajame hlajenja ali dela ekipe.

Zasedenost opreme merite po urah in vrstah zahtevkov, ne le po največji zmogljivosti v idealnih razmerah. Model, ki podnevi obdeluje veliko prometa, ponoči pa večinoma miruje, nosi enak nakupni strošek tudi med mirovanjem. Nasprotno lahko stalna obremenitev isti strošek razporedi med več uspešnih nalog. Prav sprememba zasedenosti ali deleža predpomnjenega vhoda lahko premakne točko, pri kateri se možnosti stroškovno izenačijo.

Kakovost določa, kateri prihranek je resničen

Modele primerjajte na nalogah, ki jih bo sistem dejansko opravljal: tudi na slovenskih vprašanjih, zahtevanih oblikah odgovorov in primerih z dolgim kontekstom. Kakovost postavite kot pogoj za vključitev v stroškovno primerjavo. Če ena možnost pogosteje zahteva človeški popravek, dodatno preverjanje ali nov poskus, te stroške prištejte njenemu računu, namesto da primerjate samo ceno prvega odgovora.

Pri hibridnem usmerjanju je pomembno celotno zaporedje obdelave. Lokalni poskus, ocena njegovega odgovora in naknadni klic API lahko skupaj stanejo več kot takojšnji klic API; zamuda je lahko pomembna tudi za uporabniški vmesnik. Lokalna pot je zato najbolj uporabna za jasno določene naloge, pri katerih redno dosega zahtevano kakovost, API pa za naloge, ki potrebujejo zmogljivejši model ali presežejo lokalno zmogljivost.

Zasebnost in zakasnitev lahko izločita cenejšo možnost

Lokalno poganjanje ekipi omogoča neposrednejši nadzor nad obdelavo vhodnih podatkov, hkrati pa ji naloži upravljanje dostopa, dnevnikov in varnostnih posodobitev. Pri API je treba presoditi konkretnega ponudnika, uporabljeno funkcijo in pogodbeni režim hrambe. OpenAI-jeva pravila za podatke API na primer razlikujejo med dnevniki za spremljanje zlorab in stanjem aplikacije ter opisujejo dodatne možnosti nadzora hrambe za upravičene stranke. Predpomnjenje samo po sebi ne pomeni, da podatki ostanejo v infrastrukturi naročnika.

Pri zakasnitvi merite čas do prvega žetona in čas do uporabnega zaključka, posebej ob konicah. Lokalna pot odpravi omrežno pot do ponudnika, vendar se lahko zahtevki naberejo v vrsti, ko je naprava polno zasedena. API lahko prevzame spremenljiv promet, njegov odziv pa je odvisen tudi od omrežja in obremenitve storitve. Za uporabniški vmesnik je lahko počasnejši del odzivov pomembnejši od lepega povprečja.

Katera možnost ustreza obremenitvi

Oblačni API je praviloma lažje stroškovno upravičiti pri nepredvidljivem prometu, če izpolnjuje zahteve glede kakovosti in podatkov ter če izmerjeno predpomnjenje zniža račun. Lokalno poganjanje pridobi pri stalni zasedenosti, ustreznem modelu in ekipi, ki lahko opremo zanesljivo upravlja. Hibrid je smiseln, kadar dovolj nalog ostane na lokalni poti, preusmeritve v API pa ne izničijo prihranka z dodatnimi poskusi in zakasnitvijo.

Za odločitev primerjajte vse tri scenarije še pri nižji stopnji zadetkov predpomnilnika, manjši zasedenosti lokalne opreme in drugačni ceni elektrike. Če se izbira ob majhni spremembi teh vhodnih podatkov obrne, je odločilna dejanska uporaba sistema, ne javno objavljena cena milijona žetonov.