Eigin mállíkan var dýrara en API — skyndiminni sneri kostnaðinum við

Í tilviksrannsókn Peng og samstarfsfólks voru 99,3% inntakstákna API-uppsetningarinnar lesin úr skyndiminni. Raunkostnaður hennar varð 0,57 Bandaríkjadalir á hverja milljón unninna tákna, samanborið við 2,83 dali í afskrifaðan kostnað deildrar eigin GPU-afkastagetu á sömu einingu. Skyndiminnið sneri því við samanburðinum á táknaverði í þessu tilviki. Það eitt réð þó ekki hvor leiðin hafði lægri heildarkostnað.

Eigin hýsing borgar sig þegar kostnaður hennar við verkefni sem standast gæðakröfur er lægri en kostnaður sambærilegrar API-þjónustu, miðað við raunverulegt álag og áskilinn svartíma. Í tilvikinu var deild eigin afkastageta hagstæðari í heild, en frátekin afkastageta dýrari. Fyrir tæknistjóra skiptir því máli hversu mikið af vélinni nýtist, hversu oft API getur endurnýtt inntak og hve mikla vinnu þarf til að skila nothæfri niðurstöðu.

Hvað var í raun mælt?

Rannsóknin fylgdi einum forritara við vinnu í sama hugbúnaðarsafni á tveimur samliggjandi tímabilum. Fyrri uppsetningin tengdi Claude Code við Claude Opus í API-þjónustu; sú síðari tengdi Opencode við staðbundið GLM-líkan á NVIDIA Blackwell-vélbúnaði. Bæði líkanið og vinnuumhverfið breyttust. Muninn á kostnaði eða viðgerðarvinnu er því ekki hægt að rekja eingöngu til þess hvort keyrt var á eigin vél eða hjá þjónustuveitu.

Kóðunarfulltrúi sendir gjarnan fyrri fyrirmæli, verkfæraskilgreiningar og vaxandi samtalssögu aftur með næstu beiðni. Þegar sami upphafshluti er þegar í skyndiminni greiðist lægra verð fyrir lestur hans en fyrir nýtt inntak. Í mælingunni dró endurtekningin þannig verulega úr reikningi API-uppsetningarinnar, þótt hún ynni úr miklu magni tákna.

Táknaverðið og heildarreikningurinn svara ólíkum spurningum. API-uppsetningin vann úr mun fleiri táknum en sú staðbundna og gat því kostað meira samtals þótt hvert unnið tákn væri ódýrara. Kostnaður eigin vélar dreifist hins vegar yfir þá notendur og verkefni sem fá úthlutaða afkastagetu. Ein vél sem stendur frátekin fyrir lítið álag hefur allt annan einingakostnað en sama vél sem þjónar mörgum verkefnum.

Reiknilíkanið í krónum

Kostnaðarrammi Pan og samstarfsfólks tengir vélbúnaðarkaup, rafmagn, afkastagetu og notkunarmagn við gjöld fyrir keypta þjónustu. Í íslenskri rekstraráætlun þarf auk þess að verðleggja uppsetningu, vöktun, viðhald og tíma starfsmanna. Þeir liðir ráðast af eigin rekstri og ættu ekki að hverfa inn í áætlað verð á tákn.

API-hlið reikningsins byrjar á mældum fjölda nýrra inntakstákna, tákna sem skrifuð eru í skyndiminni, tákna sem lesin eru úr því og úttakstákna. Margfaldið hvern flokk með viðeigandi verði á hverja milljón tákna og umreiknið síðan í krónur. Í verðskrá Claude fyrir skyndiminni eru lestur, skrif og venjulegt inntak aðskildir gjaldliðir; endurnýtt inntak lækkar því ekki sjálfkrafa verð úttaksins.

Fyrir eigin hýsingu má skipta kaupverði vélbúnaðar niður á áætlaða notkunarmánuði og bæta við rafmagni í vinnslu og biðstöðu, kælingu eða hýsingu, viðhaldi og rekstrarvinnu. Notið mælda orkuþörf alls kerfisins þegar hún fæst; annars þarf að taka með aðra íhluti en GPU og forðast að telja kælingu tvisvar. Ef vélin þjónar fleiri verkefnum skal úthluta þeim raunhæfum hlutdeildum í föstum kostnaði. Sama úthlutun þarf að ná yfir tíma þegar afkastagetan er frátekin en lítið notuð.

Viðmiðunargengi Seðlabanka Íslands var 120,65 krónur fyrir Bandaríkjadal 30. september 2026. Mældu einingaverðin í tilviksrannsókninni jafngilda þá um 69 krónum fyrir API og 341 krónu fyrir deilda eigin afkastagetu á hverja milljón tákna. Þetta er umreikningur á erlendum mælingum, ekki áætlun um verð íslensks rafmagns, launa eða vélbúnaðar. Við kaup og mánaðarlegan rekstur þarf einnig að miða við það gengi sem fyrirtækið greiðir í raun.

Jafnvægispunkturinn breytist með skyndiminni

Gagnlegur jafnvægispunktur miðast við samþykkt verkefni fremur en hráan fjölda tákna. Reiknið fastan mánaðarkostnað eigin hýsingar og deilið honum með muninum á API-kostnaði og breytilegum staðbundnum kostnaði á hvert samþykkt verkefni. Sá munur verður að vera jákvæður; annars næst enginn jafnvægispunktur með þessum forsendum. Bætið síðan við vinnu við yfirferð og lagfæringar þar sem hún er ólík milli leiða.

Í hreinu reiknidæmi með tilbúnum forsendum kostar eigin búnaður og rekstur 120.000 krónur fast á mánuði. API kostar 30 krónur á samþykkt verkefni og breytilegur kostnaður eigin keyrslu er 10 krónur. Þá þarf 6.000 verkefni á mánuði til að jafna kostnaðinn. Lækki raunverulegt API-gjald í 18 krónur á verkefni vegna endurnýtts inntaks, með öðrum forsendum óbreyttum, færist jafnvægispunkturinn í 15.000 verkefni.

Dæmið sýnir hvers vegna hlutfall skyndiminnissvara úr annarri uppsetningu dugar ekki í fjárhagsáætlun. Stuttar, ólíkar beiðnir skapa minna endurnýtanlegt inntak en langar vinnulotur kóðunarfulltrúa. Hlutfallið getur einnig breyst þegar fyrirmælum eða verkfærum er breytt, samtöl rofna eða ný verkefni taka við. Kostnaðarlíkanið þarf því fjölda tákna í hverjum gjaldflokki úr þeirri umferð sem á að hýsa.

Afköst og gæði setja reikningnum mörk

Meðalmagn segir ekki hversu stóra vél þarf að hafa tilbúna. Samtímis notendur, löng inntök og stuttir álagstoppar ráða því hvort beiðnir safnast í bið og hvort svartími stenst kröfur. Reiknið kostnað eigin hýsingar út frá afkastagetu sem þjónar álaginu, ekki aðeins þeim klukkustundum þegar örgjörvarnir vinna af fullum krafti. Sé stór hluti hennar vannýttur hækkar kostnaður á afgreitt verkefni þótt rafmagnsnotkun í bið sé lítil.

Í tilviksrannsókninni fylgdi staðbundnu uppsetningunni meiri vinna við viðgerðir á kóða. Sú vinna skiptir máli í heildarreikningi, en samanburðurinn segir ekki hvernig sama líkan hefði staðið sig í báðum hýsingarformum. Fyrirtæki sem bera saman leiðir þurfa því að verðleggja eigin yfirferð og lagfæringar á sambærilegu verkefnasafni. Ódýr táknaframleiðsla sparar lítið ef fleiri niðurstöður þurfa viðgerð áður en þær nýtast.

Hýst opið líkan sem þriðji kostur

Valið takmarkast ekki við eigin vél og dýrt lokað API. Í kostnaðarlíkani SitePoint komu hýst opin líkön vel út við létta og miðlungs notkun, að því gefnu að geta þeirra nægði fyrir verkefnið. Verðforsendur líkansins eru frá miðju 2025 og niðurstaðan er því samanburðardæmi, ekki gildandi tilboð fyrir íslenskan kaupanda.

Hýst opið líkan færir vélbúnaðarkostnað yfir í notkunargjald og gefur því aðra viðmiðun fyrir jafnvægisútreikninginn. Það getur verið hagkvæmara en eigin vél við óreglulegt álag, en verkefni sem krefjast meiri getu eða sérstakrar meðferðar gagna geta kallað á aðra lausn. Endanlegur samanburður stendur á kostnaði við samþykkt verkefni, afköstum á álagstímum og þeim rekstrarkostnaði sem hver leið leggur á fyrirtækið.