OpenAI API in Claude API: cena žetona ne pove hitrosti

Pri izbiri med OpenAI API in Claude API je za slovensko razvojno ekipo uporabnejši strošek dokončane naloge skupaj s časom do odgovora kot sama cena vhodnega žetona. Izbrana para modelov imata enaki osnovni tarifi, neodvisne meritve pa kažejo različen čas do prvega žetona in različno hitrost nadaljnjega izpisa.

Za podpornega pomočnika je pomembno, kako hitro se odgovor začne; pri povzemanju dokumentov lahko strošek prepolovi paketna obdelava; pri kodnem agentu račun močno spremeni dolžina izhoda. Spodnji mesečni zneski so pogojni izračuni za enake količine obračunanih žetonov pri obeh ponudnikih. Niso napoved računa za poljubno besedilo ali dokaz, da bosta modela za isto nalogo porabila enako število žetonov.

Katere postavke dejansko primerjamo

Za standardno obdelavo kratkih pozivov cenik OpenAI API navaja pri GPT-6 Luna 0,10 USD za milijon vhodnih in 0,50 USD za milijon izhodnih žetonov, pri GPT-6.1 Sol pa 2 oziroma 10 USD; predpomnjeni vhod stane 0,01 oziroma 0,10 USD, zapis v predpomnilnik pa 0,125 oziroma 2,50 USD za milijon žetonov. Responses API in Chat Completions API nimata dodatne osnovne cene: poraba žetonov se obračuna po izbranem modelu.

Cenik Claude API za kratke pozive določa pri Claude Haiku 5.5 isti osnovni tarifi kot pri Luni, pri Claude Sonnet 5.5 pa isti kot pri GPT-6.1 Sol; enake so tudi cene petminutnega zapisa in branja predpomnilnika za ta para. Haiku 5.5 ima višjo tarifo, če posamezni poziv preseže 100.000 vhodnih žetonov. Pri obeh ponudnikih sta vhod in izhod v ustrezni paketni obdelavi obračunana po polovični standardni tarifi. Primerjava spodaj uporablja standardno globalno obdelavo, cene v USD ter ne vključuje davkov, pretvorbe valute, orodij ali dodatkov za regionalno obdelavo.

Enaka tarifa še ne pomeni enakega računa za isto besedilo. Modela lahko ustvarita različno dolg odgovor, agent pa lahko opravi različno število korakov ali ponovitev. Predpomnilnik zniža strošek le za del poziva, ki se res ponovno uporabi; zapis in poznejše branje sta ločeni obračunski postavki.

Podporni pomočnik: račun in čakanje na prvi žeton

GPT-6 Luna in Claude Haiku 5.5: različen čas do prvega žetona in različna hitrost nadaljnjega izpisa.

Predpostavimo 100.000 zahtev na mesec. Vsaka ima 500 novih vhodnih žetonov, 1.200 žetonov istega uvodnega dela poziva in 200 izhodnih žetonov. Če se ponovljivi del pri desetini zahtev zapiše v predpomnilnik, pri preostalih pa zadene obstoječi zapis, nastane 50 milijonov novih vhodnih, 12 milijonov zapisnih, 108 milijonov predpomnjenih vhodnih in 20 milijonov izhodnih žetonov.

Pri GPT-6 Luna ali Claude Haiku 5.5 to pomeni 5 USD za novi vhod, 1,50 USD za zapise, 1,08 USD za branje predpomnilnika in 10 USD za izhod: skupaj 17,58 USD na mesec pri vsakem modelu. Če ponovljivih 120 milijonov žetonov ne bi bilo predpomnjenih, bi isti pogojni obseg stal 27 USD. Tak prihranek zahteva ustrezno razporejene zahteve, pravilno nastavljen predpomnilnik in dejanske zadetke.

Dolžina ponovljivega dela je pomembna: pravila OpenAI za predpomnjenje pozivov za GPT-5.6 in novejše modele zahtevajo najmanj 1.024 vidnih vhodnih žetonov v predpomnljivem začetnem delu poziva. Krajši skupni uvod zato pri GPT-6 Luna ne bi ustvaril predpostavljenih zadetkov. Pri dejanski aplikaciji se delež zapisov in zadetkov lahko spremeni tudi z vrstnim redom vsebine in časovnim razmikom med zahtevami.

V primerjavi Artificial Analysis je GPT-6 Luna z nastavitvijo Low prvi žeton vrnil po 2,71 sekunde, Claude Haiku 5.5 z nastavitvijo Low pa po 9,51 sekunde. Po začetku izpisa je bil vrstni red obraten: Haiku je ustvarjal 175,6, Luna pa 133,0 žetona na sekundo. Haiku je v istem indeksu kakovosti dosegel 29 točk, Luna 22. Kratka podporna replika zato lahko daje večjo težo začetnemu čakanju, daljša pa hitrosti nadaljnjega izpisa; rezultat indeksa ni meritev kakovosti konkretnega podpornega pogovora.

Povzemanje dokumentov: kadar je mogoče počakati

Predpostavimo 10.000 dokumentov na mesec, vsak s povprečno 12.000 vhodnimi žetoni in povzetkom s 500 izhodnimi žetoni. To je 120 milijonov vhodnih in 5 milijonov izhodnih žetonov. Če se povzetki pripravljajo v ozadju in je mogoče vse zahteve oddati paketno, znaša strošek pri GPT-6 Luna ali Claude Haiku 5.5 6 USD za vhod in 1,25 USD za izhod, skupaj 7,25 USD. Standardna obdelava enake količine bi stala 14,50 USD.

V ta izračun predpomnilnik ni vključen. Različni dokumenti ustvarijo večinoma različen vhod, četudi imajo povzetki enaka navodila; prihranek bi bilo treba izračunati iz dejansko ponovljenega dela poziva. Posamezen poziv v tem primeru ostane pod pragom višje tarife za Haiku 5.5. Če mora uporabnik povzetek dobiti takoj, paketna cena ni primerna osnova za odločitev, saj paketno izvajanje poteka asinhrono.

Pri takšni obremenitvi čas do prvega žetona iz meritve spletnega odgovora ne pove, ali bo celoten sveženj pravočasno končan. Pomembna sta rok, ki ga dopušča izdelek, in delež uspešno obdelanih dokumentov. Del zahtev, ki mora ostati sinhron, je treba v mesečnem računu obračunati po standardni tarifi.

Kodni agent: izhod prevzame največji del stroška

Pri pogojni obremenitvi kodnega agenta znašajo izhodni žetoni največji del enakega izračunanega računa za GPT-6.1 Sol in Claude Sonnet 5.5.

Za pogojnih 10.000 agentovih nalog na mesec predpostavimo na nalogo 10.000 novih vhodnih žetonov, 3.000 žetonov za zapis predpomnilnika, 27.000 predpomnjenih vhodnih in 8.000 izhodnih žetonov. Mesečne količine so 100, 30, 270 in 80 milijonov žetonov v teh štirih kategorijah. Izhod vključuje vse obračunane izhodne žetone, tudi tiste, ki nastanejo med razmišljanjem modela.

Pri GPT-6.1 Sol in Claude Sonnet 5.5 znaša pogojni račun 200 USD za novi vhod, 75 USD za zapise, 27 USD za branje predpomnilnika in 800 USD za izhod, skupaj 1.102 USD pri vsakem modelu. Če bi naloge ob nespremenjenih drugih količinah zahtevale 12.000 namesto 8.000 izhodnih žetonov na nalogo, bi račun narasel na 1.502 USD. Dodatnih 400 USD povzroči daljši izhod, ne sprememba tarife. Pri agentu lahko na dejanski strošek dokončane naloge vplivajo še ponovitve in klici plačljivih orodij, ki v primeru niso vračunani.

Meritev Artificial Analysis primerja GPT-6.1 Sol z nastavitvijo Low in Claude Sonnet 5.5 z nastavitvijo Medium ter privzetim nadomestnim načinom: Sonnet je prvi žeton vrnil po 1,05 sekunde in izpisoval 101,7 žetona na sekundo, Sol pa po 2,64 sekunde in izpisoval 52,4 žetona na sekundo. Sol je v širšem indeksu kakovosti dosegel 42 točk, Sonnet 41. Ta indeks ni neposredna stopnja uspešno dokončanih kodnih nalog, izmerjena hitrost pa velja za navedeni nastavitvi.

Odločitev je odvisna od naloge

Za pomočnika z vidnim pretočnim odgovorom je čas do začetka odgovora lahko pomembnejši od majhne razlike v hitrosti poznejšega izpisa. Pri dokumentih, ki smejo počakati, je odločilna možnost paketne obdelave. Pri kodnem agentu so poleg hitrosti pomembni dolžina izhoda, poraba med razmišljanjem in število ponovitev do sprejemljive rešitve.

Primerljiv izbor zato potrebuje enake naloge, zapisane nastavitve modelov ter porabo po kategorijah: novi vhod, zapisi in branja predpomnilnika ter izhod. Takšna primerjava pokaže, koliko stane uporaben rezultat in koliko časa mora uporabnik nanj čakati, tudi kadar sta osnovni ceni žetona povsem enaki.

Preberite tudi: