„Beam“ svoriai jau atviri, tačiau 501 mlrd. modelis lieka milžiniškas

2026 m. spalio 16 d. „Reflection AI“ išleidimo pranešime paskelbta, kad „Beam“ svoriai pasiekiami „Hugging Face“ pagal „Apache 2.0“ licenciją: modelyje yra 501 mlrd. parametrų, o vienam žetonui aktyvuojama apie 23 mlrd. Kartu pasirodė modelio kortelė su vertinimų duomenimis ir saugos techninė ataskaita. Svorius jau galima atsisiųsti.

Modelį galima vykdyti savo infrastruktūroje, tačiau viešas failų prieinamumas savaime neišsprendžia talpos klausimo. „Beam“ naudoja ekspertų mišinio architektūrą: kiekvienam žetonui parenkama tik dalis ekspertų, tačiau užklausų metu gali prireikti skirtingų jų derinių. Todėl įrangoje turi būti pasiekiamas visas modelis, o atminties dar reikia tarpiniams skaičiavimams ir pokalbio kontekstui.

Ką apima atviras „Beam“ leidimas

Paskelbtas instrukcijoms pritaikytas tekstinis modelis, skirtas programavimui, samprotavimui ir agentinėms užduotims. Jis priima tekstą ir grąžina tekstą. Modelio kortelėje pateikti numatyti naudojimo būdai ir testų rezultatai, tad diegėjas gali susieti pasirinktą svorių variantą su konkrečios užduoties reikalavimais.

Taikoma licencija leidžia svorius naudoti komerciniais tikslais, keisti ir platinti. Platinant būtina išlaikyti licencijos tekstą ir taikomus autorių teisių pranešimus, o savo pakeitimus pažymėti pagal licencijos sąlygas. Modelio kortelėje aprašomos naudojimo ir saugos praktikos yra informacinės; jos nekeičia pačios svorių licencijos sąlygų.

Greta atsisiunčiamų svorių prieiga teikiama per gamintojo API ir partnerių talpinamas paslaugas. Ten spartintuvus, svorių paskirstymą ir užklausų aptarnavimą organizuoja paslaugos teikėjas; savarankiškai diegiantis naudotojas šią atsakomybę perima pats. Talpinama paslauga leidžia vertinti modelį nekuriant nuosavo vykdymo mazgo, tačiau jos tarifai ir savos įrangos sąnaudos yra skirtingi ekonominiai pasirinkimai.

Be pagrindinių svorių, išleistas pagalbinis „DFlash2“ modelis spekuliatyviajam dekodavimui. Jis siūlo būsimos išvesties žetonus, kuriuos pagrindinis modelis patikrina vienu skaičiavimo žingsniu; toks derinys gali padidinti generavimo spartą, kai pasiūlymai priimami. Pagalbinis modelis nepakeičia pagrindinių svorių ir pats užima papildomos atminties, todėl spartinimo galimybė nėra mažesnės pradinės įrangos garantija.

Diegimo kortelė: svoriai, atmintis ir vykdymo sistemos

„Hugging Face“ diegimo apraše nurodyti BF16, FP8 ir NVFP4 formatai: BF16 svorių failai užima apie 1 TB, o NVFP4 variantas – apie 280 GB. Suspaudimas keičia saugojimo ir atminties poreikį, bet visi ekspertai turi likti pasiekiami. Mažesnis failas taip pat nereiškia, kad tokio pat dydžio atminties pakaks veikiančiai paslaugai.

NVFP4 skirtas „NVIDIA Blackwell“ kartos spartintuvams. Du B200 sutalpintų svorius, tačiau liktų mažai vietos aktyvacijoms ir konteksto kaupikliui, todėl praktiniam aptarnavimui apraše siūlomi keturi B200. Ankstesnės kartos H200 atveju pateiktas FP8 vykdymo su aštuoniais spartintuvais pavyzdys; BF16 vykdymui per „vLLM“ pateikta šešiolikos H200 konfigūracija. Tai konkrečių formatų receptai, o ne universalūs minimalūs reikalavimai kiekvienai apkrovai.

Vykdymą palaiko „Transformers“, „vLLM“ ir „SGLang“. „Transformers“ leidžia įkelti modelį programoje, o kitų dviejų sistemų pavyzdžiai skirti aptarnauti užklausas per serverį. Pasirinkus formatą dar reikia suderinti jo palaikymą su spartintuvo karta, paskirstyti svorius tarp įrenginių ir palikti rezervą vienu metu apdorojamoms užklausoms. Tai paaiškina, kodėl atsisiuntimo teisė ir parengta paslauga yra skirtingi diegimo etapai.

Ilgesniam tekstui „Beam“ derina lokaliai ribotą dėmesį su sluoksniais, kurie gali aprėpti visą kontekstą. Toks sprendimas sumažina konteksto kaupiklio augimą, palyginti su architektūra, kurioje kiekvienas sluoksnis saugotų visą seką. Vis dėlto kuo ilgesnės ir gausesnės vienu metu vykdomos užklausos, tuo daugiau atminties reikia greta jau įkeltų svorių.

Modelio kortelėje nurodoma iki milijono žetonų konteksto riba. Ilgas kontekstas užima papildomą atmintį net tada, kai patys svoriai jau sutalpinti; vienu metu aptarnaujant daugiau užklausų kaupiklių poreikis didėja. Dėl to nominali konteksto riba nėra pažadas, kad maksimalios apimties užklausos bus patogiai aptarnaujamos bet kuria paskelbta konfigūracija.

Efektyvumo argumentas dar nėra sąnaudų palyginimas

„Reflection AI“ modelį pozicionuoja pagal mažesnį sugeneruojamų žetonų kiekį užbaigtai užduočiai, o ne vien pigesnį atskirą žetoną. Šis skirtumas svarbus: trumpesnis atsakymas mažina skaičiavimų kiekį tik tada, kai užduotis išsprendžiama reikiama kokybe. Savarankiškai diegiant prie skaičiavimų prisideda spartintuvų nuoma arba įsigijimas, jų apkrova ir paslaugos priežiūra.

„VentureBeat“ pokalbyje „Reflection AI“ produktų viceprezidentas Joe Spisak apie vienos užbaigtos programavimo užduoties kainos palyginimą pasakė: „We don't really have anything concrete to share there.“ Bendrovės skaičiavimo naudos vertinimas remiasi modelio aktyvia dalimi ir išvesties žetonais, o skirtingų lustų bei vykdymo sistemų faktinės sąnaudos gali skirtis.

Modelio kortelėje skelbiami užduočių testai apibūdina konkrečius tikslumo rezultatus, bet nepateikia vienos savarankiško aptarnavimo kainos. Jai apskaičiuoti dar reikia žinoti užklausų sudėtį, įvesties ir išvesties santykį, vienalaikį srautą bei iš tikrųjų pasiektą spartą pasirinktoje įrangoje. Todėl trumpesnio samprotavimo teiginys lieka gamintojo našumo argumentu, o ne nepriklausomai nustatyta kiekvienos užduoties sąskaita.

Diegėjui dabar atsivėrė pasirinkimas tarp savo infrastruktūros, gamintojo API ir partnerių valdomų paslaugų. Savo įrangos atveju lemiamas klausimas lieka, ar pasirinkta spartintuvų konfigūracija užtikrins pakankamą talpą ir apkrovą už priimtiną vienos atliktos užduoties kainą. Atsakymą duos palyginami užbaigtų užduočių sąnaudų matavimai realiose vykdymo aplinkose.

Taip pat skaitykite:

• „Spiko“ pritraukė 90 mln. USD: žetonizuotuose fonduose jau 2,7 mlrd.
• „Instagram Edits“ jau aiškina, kodėl vienas „Reel“ aplenkė kitą
• „Schneider Electric“ už PTC moka 22,6 mlrd. dolerių, sandoris dar nebaigtas