LiteLLM eða OpenRouter: sjálfhýsing sparar ekki sjálfkrafa

Valið milli LiteLLM og OpenRouter ræðst af því hvort gjaldasparnaður af eigin gátt standi undir innviðum, viðhaldi og viðbrögðum við bilunum. Sjálfhýst LiteLLM getur verið ódýrara við mikla notkun, en sá ávinningur kemur aðeins fram þegar heildarkostnaður rekstrarins er lægri en gjöld stýrðu gáttarinnar. Í gjaldskrá OpenRouter er BYOK-notkun á Standard- og Business-leið án gáttargjalds að 25.000 Bandaríkjadölum á mánuði miðað við listaverð líkanabeiðna, síðan er gjaldið 5%; við kaup á inneign leggst 5,5% gjald á Standard-leið.

LiteLLM hentar betur þegar fyrirtæki þarf eigin leiðarreglur og hefur fólk til að reka gáttina. OpenRouter hentar betur þegar einfaldari rekstur vegur þyngra en þjónustugjöld og háð við ytri gátt. Framleiðsluleiðbeiningar LiteLLM gera ráð fyrir PostgreSQL fyrir auðkenningu og notkunarskráningu, Redis þegar fleiri en ein gáttareining er keyrð og gagnagrunnsuppfærslu við útgáfuskipti. Sjálfhýsing færir ábyrgð á þessum þáttum til teymisins.

Hvað fæst með eigin leiðarstýringu?

LiteLLM gefur fyrirtækinu stjórn á því hvernig beiðnir dreifast milli uppsetninga og hvað gerist þegar valin leið bregst. Leiðarskjöl LiteLLM lýsa álagsdreifingu, varaleiðum, endurtilraunum og Redis-samstillingu notkunarmarka milli eininga. Fyrirtækið getur þannig stillt forgang veitenda og viðbrögð við tímamörkum, en þarf að halda þeim reglum við þegar líkön, afkastageta eða þjónustuskilmálar breytast.

Sú stjórn er verðmæt ef tilteknir lyklar, innri aðgangsstýring eða ólíkar reglur fyrir viðskiptavini eru hluti af þjónustunni. Eigin leiðarstýring gerir teyminu líka kleift að ákveða hvaða beiðnir mega fara í annað líkan og hvaða beiðnir eiga að stöðvast. Ef forritið þarf aðeins að kalla á fá líkön með einföldum varaleiðum getur rekstrarvinnan hins vegar orðið stærri þáttur en sveigjanleikinn sem fæst.

Hvernig breytist heildarkostnaðurinn við ólíka notkun?

Samanburðurinn hér miðast við sömu líkanabeiðnir, sama listaverð og BYOK á Standard-leið OpenRouter. Grunnkostnaður líkanaveitanda er því lagður á báða valkosti; munurinn er kostnaðurinn við gáttina. Raunverulegir samningar við veitendur geta fært greiðslur frá listaverði, og þá þarf að reikna BYOK-viðmiðið og gjaldið út frá listaverði samt, ekki lægri samningsreikningi.

Allar fjárhæðir fyrir innviði og vinnu eru forsendur skýringardæma, ekki birt skýjaverð eða mældur kostnaður íslenskra fyrirtækja. LiteLLM er í öllum dæmum rekið með gáttareiningum, PostgreSQL og Redis. Vinna við reglulegan rekstur og bilunarviðbrögð kostar í dæmunum 75 Bandaríkjadali á klukkustund hjá báðum leiðum. Tjón vegna óaðgengilegrar þjónustu, skattar og gengisáhætta eru utan reikningsins.

Lítil notkun, 5.000 dalir á mánuði: LiteLLM kostar samkvæmt forsendunni 120 dali í gáttareiningar, 50 í gagnagrunn og 30 í Redis. Fjórar klukkustundir í reglulegan rekstur og tvær í bilunarviðbrögð bæta við 450 dölum; viðbótin er 650 dalir og heildin 5.650. OpenRouter er undir BYOK-viðmiðinu og ber ekkert BYOK-gjald; tvær rekstrarklukkustundir og ein vegna bilunar kosta 225 dali. Heildin er 5.225 dalir.
Miðlungsnotkun, 50.000 dalir á mánuði: LiteLLM kostar 300 dali í gáttareiningar, 100 í gagnagrunn og 60 í Redis. Tólf rekstrarklukkustundir og fjórar vegna bilunar færa viðbótina í 1.660 dali og heildina í 51.660. OpenRouter rukkar 1.250 dali fyrir BYOK-notkun umfram viðmiðið; 5,5% gjald á inneignina er 68,75 dalir. Fjórar rekstrarklukkustundir og tvær vegna bilunar bæta við 450 dölum. Viðbótin verður 1.768,75 dalir og heildin 51.768,75.
Mikil notkun, 250.000 dalir á mánuði: LiteLLM kostar 900 dali í gáttareiningar, 250 í gagnagrunn og 150 í Redis. Þrjátíu rekstrarklukkustundir og tíu vegna bilunar færa viðbótina í 4.300 dali og heildina í 254.300. OpenRouter rukkar 11.250 dali í BYOK-gjald af notkuninni yfir viðmiði og 618,75 dali leggjast á inneignarkaupin. Átta rekstrarklukkustundir og fjórar vegna bilunar kosta 900 dali. Viðbótin verður 12.768,75 dalir og heildin 262.768,75.

Í þessu dæmi er OpenRouter ódýrara við litla notkun, en LiteLLM rétt ódýrara við miðlungsnotkun og mun ódýrara við mikla notkun. Miðdæmið er viðkvæmt: tvær vinnustundir til viðbótar á LiteLLM-hlið geta snúið niðurstöðunni við. Upphafleg uppsetning og innleiðing eru heldur ekki gjaldfærð hér; fyrirtæki sem tekur upp eigin gátt þarf að dreifa þeim kostnaði yfir raunhæfan notkunartíma.

Hver ber ábyrgð þegar leiðin bilar?

Með LiteLLM á fyrirtækið viðbrögðin við bilun í eigin gátt, gagnagrunni og Redis. Varaleið gagnast aðeins ef annar veitandi eða önnur uppsetning getur tekið við sömu beiðni; endurtilraunir geta jafnframt aukið bið ef fyrsta leið svarar seint. Þess vegna ræðst áreiðanleiki ekki af því einu að gáttin styðji varaleiðir, heldur líka af stillingum, afkastagetu og viðbragðsvakt.

OpenRouter rekur sína gátt og getur sjálft valið aðra leið þegar sú fyrri bregst. Skjöl OpenRouter um svörunartíma lýsa því að misheppnuð fyrsta tilraun geti lengt bið eftir svari þótt varaleiðin skili að lokum niðurstöðu. Fyrirtækið þarf enn að vakta eigin forrit, greina hvort rofið sé í gáttinni eða hjá líkanaveitanda og ákveða hvaða svör frá öðru líkani eru ásættanleg.

Hvað segja birtar afkastatölur?

Birt töf frá ólíkum uppsetningum velur ekki á milli gáttanna. Í úttekt Markaicode á töf er 3,25 ms viðbótartöf LiteLLM rakin til eigin gagna framleiðandans, en 40 ms miðgildi við 200 beiðnir á sekúndu kemur úr annarri uppsetningu með öðrum prófunarskilyrðum. Úttektin birtir ekki sameiginlega, óháða mælingu á sjálfhýstri LiteLLM-gátt og OpenRouter sem tveimur valkostum.

Fyrir íslenskt fyrirtæki skiptir raunveruleg svarbið í eigin forriti meira máli en stök tala úr rannsóknarstofu framleiðanda. Netleiðin til veitanda, fjöldi samhliða beiðna og líkan sem tekur við eftir bilun hafa áhrif á niðurstöðuna. Við ákvörðunina þarf því að bera kostnað við rekstur og viðbrögð saman við þá stjórn sem eigin gátt veitir, með sömu líkönum og þjónustukröfum í báðum leiðum.

Lestu einnig: