llm-d 1.0 fer í rekstur — opni kosturinn lofar allt að tíföldum sparnaði

Í frásögn IBM Research af kynningu llm-d 1.0 á PyTorch Conference North America 20. október 2026 kemur fram að IBM og Red Hat hafi áður keyrt 3.000 forritunarfulltrúa samtímis á eigin uppsetningu, með kostnaði sem var fimm til tíu sinnum lægri en verð fyrir að bjóða sama opna líkan sem þjónustu; Carlos Costa hjá IBM Research orðaði áfangann „llm-d is ready for day 2 operations“. Kostnaðarmunurinn lýsir þeirri keyrslu og þeim samanburði, ekki föstum afslætti sem fylgir hverri uppsetningu hugbúnaðarins.

Útgáfan gerir opið kerfi fyrir dreifða ályktun tilbúið til að sinna fleiri daglegum rekstrarverkum: hún samhæfir forgang beiðna frá ólíkum notendum, viðheldur beiningu þegar íhlutir eru uppfærðir og nýtir samhengi sem þegar hefur verið reiknað. llm-d er byggt í kringum Kubernetes og getur stýrt líkanaþjónum á borð við vLLM og SGLang. Fyrir teymi sem rekur eigin hraðla er meginspurningin hvort endurtekið, nægilega mikið álag vegi upp á móti kostnaði við vélbúnað og sérhæfðan rekstur.

Beiðnir fá forgang þegar álagið eykst

Nýjungin í llm-d 1.0 er fyrst og fremst samhæfing aðferða sem þegar voru til staðar við kröfur samfelldrar þjónustu. Í sameiginlegri þyrpingu geta stuttar gagnvirkar beiðnir og langar keyrslur sjálfvirkra fulltrúa keppt um sömu hraðla. Beinirinn getur flokkað umferð eftir forgangi og dreift afkastagetu með sanngjörnum hætti innan hvers flokks, svo skyndilegt álag frá einum hópi þurfi ekki að tefja alla aðra.

Þegar líkanaþjónarnir eru fullnýttir getur beinirinn haldið nýjum beiðnum í bið í stað þess að bæta þeim við biðraðir hjá þegar yfirhlöðnum þjónum. Það gefur rekstraraðilum stjórn á því hvaða umferð fær afgreiðslu fyrst og hvaða umferð má bíða. Stillingin skiptir máli: sjálfgefin hegðun líkist áfram afgreiðslu í komuröð þar til teymi setur eigin reglur um forgang og sanngirni.

Við uppfærslur tekur heitur varabeinir við ef virka beininum er skipt út eða hann bilar. Einingar sem vinna inntak og mynda svar eru jafnframt meðhöndlaðar sem ein samhæfð heild, þannig að beiðni fari ekki milli ósamrýmanlegra útgáfa. Útgáfan fær einnig stöðugt stillingarviðmót. Saman draga þessar breytingar úr handvirkri vinnu við að halda dreifðri þjónustu gangandi, en þær gera vöktun og skipulag afkastagetu áfram að verkefni rekstrarteymisins.

Endurtekið samhengi er lykillinn að nýtingunni

Stór hluti ávinningsins kemur fram þegar margar beiðnir deila sama upphafshluta. Beining sem tekur mið af forskeytisskyndiminni reynir að senda nýja beiðni til líkanaþjóns sem hefur þegar unnið viðeigandi samhengi. Þá þarf ekki að reikna langar leiðbeiningar, kóða eða samtalssögu frá grunni í hvert skipti. Flutningur KV-skyndiminnis úr minni hraðals í minni hýsils eða geymslu getur varðveitt meira af þessu samhengi þegar pláss á hraðlinum þrengist.

Aðrar aðferðir leysa aðra flöskuhálsa. Hópvinnsla safnar saman verkum sem þola bið, en aðskilin vinnsla inntaks og svarmyndunar gerir kleift að stækka þá tvo hluta þjónustunnar eftir mismunandi eftirspurn. Dreifð keyrsla sérhæfðra hluta mjög stórra líkana nýtir marga hraðla þegar eitt tæki dugar ekki. Þessar aðferðir voru ekki allar kynntar fyrst með útgáfu 1.0; breytingin felst í því að reka þær saman við forgangsröðun, uppfærslur og breytilega umferð.

Fyrir sjálfvirka fulltrúa bætist við beining sem heldur áframhaldandi samtali nálægt skyndiminni fyrri umferða. Kerfið getur einnig tekið mið af því hvar beiðni er í margþættu verki og varðveitt samhengi milli svara. Ávinningurinn er því líklegastur þegar fulltrúi fer ítrekað á milli líkans og verkfæra með sömu sögu í farteskinu. Stuttar, ótengdar beiðnir bjóða upp á mun minna af endurtekinni vinnu sem hægt er að spara.

Afkastatölurnar eiga við ólíkar uppsetningar

Kostnaðarsamanburðurinn í upphafi byggist á sjálfkeyrðri þjónustu fyrir samhengiþunga forritunarfulltrúa. Hann ber kostnað þeirrar uppsetningar saman við verð fyrir að bjóða sama opna líkan sem þjónustu. Hlutfallið færist til ef beiðnir endurnýta minna samhengi, hraðlar standa vannýttir eða mannafli og viðhald vega þyngra í heildarkostnaði. Það er því niðurstaða um tiltekið vinnuálag og samanburðargrunn, ekki sjálfstæð afkastatala llm-d 1.0.

Önnur mæling snýr að hraða fremur en verði: í útgáfulýsingu llm-d er greint frá því að Tesla og Red Hat hafi mælt þrefaldan fjölda úttakstákna á sekúndu og helmingi styttri bið eftir fyrsta tákni þegar beining eftir forskeytisskyndiminni var notuð við keyrslu Llama 3.1 70B á AMD MI300X. Niðurstaðan tilheyrir þeirri samsetningu líkans, vélbúnaðar og beiningar. Hún segir ekki að hver þjónusta sem uppfærir í llm-d 1.0 þrefaldi afköst sín.

Munurinn á mælingunum skiptir máli fyrir rekstrarákvörðun. Kostnaðartalan ræðst meðal annars af verði samanburðarþjónustunnar og nýtingu eigin hraðla; hraðatalan lýsir áhrifum tiltekinnar beiningar við annað líkan og annan vélbúnað. Hvorug talan ein og sér svarar því hvað íslenskt teymi greiðir fyrir eigin þyrpingu. Þar ráða raunveruleg beiðnamynstur, kröfur um svörunartíma og sá tími sem fer í að reka kerfið.

Eigin þyrping krefst eigin rekstrargetu

Opna útgáfan gefur teymum meiri stjórn á því hvar líkön keyra og hvernig afkastageta skiptist milli verkefna. Sú stjórn getur borgað sig þegar notkun er stöðug og nægilega mikil til að dreifa kostnaði við hraðla, vöktun og Kubernetes-kunnáttu yfir margar beiðnir. Við lítið eða óreglulegt álag verður sami fasti kostnaður hlutfallslega þyngri. Hugbúnaður sem er opinn undanþiggur rekstraraðila ekki þeirri ábyrgð að bregðast við bilunum, uppfærslum og álagstoppum.

Eigin uppsetning er heldur ekki eina leiðin til að nýta kerfið. Í umfjöllun TechTarget kemur fram að DigitalOcean noti eigin grein af llm-d fyrir Managed Agents og Serverless Inference; þar er jafnframt bent á að mörg fyrirtæki muni líklega fá tæknina sem hluta af þjónustu skýja- eða hugbúnaðarsala. Slíkur pakki færir hluta daglegrar rekstrarábyrgðar til birgis, en takmarkar jafnframt þá beinu stjórn á stillingum og kostnaðarliðum sem eigin þyrping veitir.

Fyrir rekstrarteymi breytir útgáfan því hvaða verkefni er raunhæft að taka að sér: sama opna kerfið getur nú samhæft forgang, endurnýtingu samhengis og uppfærslur í þjónustu sem er stöðugt í notkun. Hvort eigin rekstur sé ódýrari ræðst samt af því hve oft raunverulegar beiðnir nýta þessar aðferðir og hve mikla sérhæfða vinnu þarf til að halda þyrpingunni gangandi.

Lestu einnig:

• Cloudflare Basin fer í almenna notkun — útflutningsgjaldið hverfur
• Airflow eða Prefect: einfaldari Python-kóði færir ekki allan reksturinn
• Thrad lofar milljón í auglýsingafé — úthlutunin er óskýr