Claude Sonnet ali Gemini Flash: hitrost in cena obrneta izbiro API-ja

|Avtor: Uredništvo QUASA|5 min branja| 1
Claude Sonnet ali Gemini Flash: hitrost in cena obrneta izbiro API-ja

Pri enaki obračunani porabi žetonov je Gemini 3.7 Flash cenejša izbira od Claude Sonnet 5.5. To pa še ni odločitev za vsako aplikacijo: pri klepetu lahko več pomeni čas do prvega vidnega odgovora, pri dolgih odgovorih hitrost nadaljnjega izpisa, pri dokumentih in agentih pa cena večkrat uporabljenega konteksta.

Strošek zato primerjajte na ravni celotne naloge: novih vhodnih, izhodnih in predpomnjenih žetonov skupaj. Spodnji trije primeri so pogojni izračuni po standardnih plačljivih tarifah, ne izmerjeni klici. Predpostavljajo enako obračunano število žetonov; dejanski porabi modelov in kakovost odgovorov se lahko razlikujeta.

Iz katerih postavk nastane račun

Googlov cenik za Gemini 3.7 Flash do 31. decembra 2026 določa 0,75 USD za milijon vhodnih žetonov, 3,75 USD za milijon izhodnih žetonov, vključno z žetoni razmišljanja, ter 0,075 USD za milijon predpomnjenih žetonov; pri izrecnem predpomnjenju se doda 0,50 USD za milijon žetonov na uro hrambe. Plačljivo ozemljitev z iskanjem cenik obravnava posebej. Anthropicovi podatki za Claude Sonnet 5.5 navajajo 2 USD za milijon vhodnih in 10 USD za milijon izhodnih žetonov, 2,50 USD za zapis v petminutni oziroma 4 USD za zapis v enourni predpomnilnik ter 0,20 USD za milijon žetonov ob branju iz njega.

Osnovni račun za klic je vhodna poraba, pomnožena z vhodno tarifo, plus izhodna poraba po izhodni tarifi. Pri ponovljenem kontekstu se navadni vhod, zapis, poznejša branja in hramba obračunajo različno. Zato najcenejši vhodni žeton še ne pove, koliko stane pogovor z več koraki; odločilno je tudi, koliko konteksta se ponovi in koliko žetonov model porabi, preden dokonča uporaben odgovor.

Prvi odziv in hitrost izpisa lahko kažeta v različni smeri

V primerjavi Artificial Analysis Gemini 3.7 Flash z nastavitvijo high izpisuje približno 361 žetonov na sekundo, Claude Sonnet 5 z visoko nastavitvijo razmišljanja približno 70; prvi žeton pa pri Claudu prispe po 8,63 sekunde in pri Geminiju po 12,75 sekunde. Meritev primerja Sonnet 5, ne Sonnet 5.5, zato njegove začetne zakasnitve ni mogoče pripisati modelu v spodnjih cenovnih izračunih.

Pri pretočnem klepetu uporabnik opazi prvi žeton, še preden je odgovor dokončan. Pri daljšem izpisu se začetna razlika lahko zmanjša ali obrne, ker preostali žetoni prihajajo z drugo hitrostjo. Aplikacija, ki prikaže šele celoten odgovor, uporabniku začetne prednosti sploh ne pokaže. Tudi nastavitve razmišljanja in dolžina poziva vplivajo na čakanje, zato sta čas do prvega žetona in čas do dokončanega odgovora ločeni meritvi za isto vrsto naloge.

Klepet: majhen račun, opazna začetna zakasnitev

Predpostavimo en klepetalni klic z 2.000 novimi vhodnimi in 500 obračunanimi izhodnimi žetoni, brez predpomnjenja ali orodij. Pri Sonnetu vhod stane 0,004 USD in izhod 0,005 USD, skupaj 0,009 USD. Pri Geminiju sta postavki 0,0015 in 0,001875 USD, skupaj 0,003375 USD. To je račun za predpostavljeno porabo, ne napoved računa za vsak pogovor.

Pri takem kratkem odgovoru je čas do prvega žetona lahko velik del čakanja, hitrejši nadaljnji izpis pa ima manj prostora, da spremeni uporabniško izkušnjo. Če model za zadosten odgovor potrebuje več razmišljanja ali daljše besedilo, se spremeni tudi izhodna postavka. Pri primerjavi kakovosti zato šteje, ali odgovor pravilno opravi isto nalogo, ne zgolj to, ali oba modela ustvarita enako dolgo besedilo.

Dokumenti: ponovna uporaba spremeni ceno serije vprašanj

Za dolg dokument sta pomembni tako vhodna meja kot možnost ponovne uporabe vsebine. Specifikacija Gemini 3.7 Flash navaja podporo za vhod PDF, mejo 1.048.576 vhodnih in 65.536 izhodnih žetonov. Sonnet 5.5 ima prav tako obsežno kontekstno okno, vendar velikost okna sama po sebi ne pove, kako zanesljivo bo model našel podatek v dokumentu.

Predpostavimo deset vprašanj o istem dokumentu s 100.000 žetoni in 2.000 obračunanih izhodnih žetonov na odgovor. Če se dokument za Sonnet shrani v enourni predpomnilnik in ga naslednjih devet klicev prebere od tam, zapis stane 0,40 USD, branja 0,18 USD, odgovori pa 0,20 USD: skupaj 0,78 USD. Brez predpomnjenja bi ponovljeni vhodi in enaki odgovori stali 2,20 USD. Strošek dodatnih žetonov v posameznih vprašanjih v tem poenostavljenem primeru ni vključen.

Za Gemini predpostavimo prvi navadni vhod, devet predpomnjenih branj in eno uro izrecne hrambe. Prvi vhod stane 0,075 USD, branja 0,0675 USD, hramba 0,05 USD in odgovori 0,075 USD: skupaj 0,2675 USD. Googlova razlaga predpomnjenja loči samodejne zadetke brez zagotovljenega prihranka od izrecno ustvarjenega predpomnilnika z določeno življenjsko dobo. Izračun zato velja za navedeni način uporabe in dejansko ponovno branje dokumenta.

Agentska naloga: vsak zaporedni klic doda strošek in čakanje

Vzemimo pogojnega agenta s petimi zaporednimi klici. Vsak klic doda 10.000 novih vhodnih in 1.000 obračunanih izhodnih žetonov; skupni kontekst z 20.000 žetoni se pripravi enkrat in pri preostalih štirih klicih prebere iz predpomnilnika. Predpostavimo enourno življenjsko dobo pri obeh modelih, da cena hrambe v primerjavi ne izgine zaradi različnih časovnih omejitev.

Pri Sonnetu zapis skupnega konteksta stane 0,08 USD, štiri branja 0,016 USD, novi vhodi 0,10 USD in izhodi 0,05 USD. Skupni račun je 0,246 USD. Pri Geminiju stanejo prvi vhod 0,015 USD, predpomnjena branja 0,006 USD, novi vhodi 0,0375 USD, izhodi 0,01875 USD in enourna hramba 0,01 USD: skupaj 0,08725 USD. V obeh vsotah so izpuščeni morebitni računi za orodja ali iskanje.

Pri agentu se začetna zakasnitev ponovi ob vsakem zaporednem klicu. Hitrejši izpis posameznega odgovora zato še ne zagotovi hitrejšega konca naloge, posebej če agent čaka na orodje ali opravi več dodatnih korakov. Cenovna prednost v izračunu velja za enako predpostavljeno porabo; model, ki nalogo reši z manj ponovitvami ali z manj neuporabnimi odgovori, lahko spremeni račun za uspešno dokončano nalogo.

Preberite tudi:

Deli:

Naročite se na naše e-novice

Najnovejše novice o Web3, UI in kriptovalutah neposredno v vaš e-poštni predal.

0