Reflectioni Beam lubab 501 miljardit parameetrit, kuid kaale veel ei avaldatud

|Autor: QUASA toimetus|4 min lugemist| 1
Reflectioni Beam lubab 501 miljardit parameetrit, kuid kaale veel ei avaldatud

Reflection AI 5. oktoobri Beami tutvustuses kirjeldab mudelit, millel on 501 miljardit koguparemeetrit ja 23 miljardit korraga aktiivset parameetrit. Ettevõte lubab kaalud avaldada hiljem oktoobris Apache 2.0 litsentsi alusel. Praegu saab tutvuda mudeli kirjelduse ja tootja katsetulemustega, kuid avalikke kaale alla laadida ega oma taristus käivitada veel ei saa.

TechCrunchi sama päeva kajastus kirjeldab Beami ainult teksti töötleva mudelina, mille eeltreening hõlmas 23,8 triljonit tokenit ja mille treeningus saavutatud tõhus kontekstipikkus on miljon tokenit; väljaanne märgib ka, et Reflectioni jõudlusväiteid pole sõltumatult kinnitatud. Valitud kasutajatele pakutav varajane ligipääs ja ootenimekiri annavad mudeliga katsetamiseks kitsama võimaluse kui avalik kaalude väljalase.

Mida Beami parameetrid tegelikult kirjeldavad

Beam on hõre ekspertide segu ehk mixture-of-experts-mudel. Sellises arhitektuuris valib suunamismehhanism iga tokeni töötlemiseks osa ekspertidest, selle asemel et rakendada korraga kogu mudelit. Koguparemeetrite arv kirjeldab kõigi ekspertide ulatust, aktiivsete parameetrite arv aga ühe tokeni puhul tööle rakenduvat osa. Seetõttu ei saa neid kahte näitajat käsitleda sama mõõdikuna ega järeldada üksnes koguarvust päringu kiirust.

Arhitektuur sobib Reflectioni esitatud eesmärgiga pakkuda võimekat mudelit programmeerimiseks, arutlusülesanneteks ja tööriistu kasutavateks agentideks väiksema järeldusarvutusega. See on siiski väide mudeli kavandatud tõhususe kohta, mitte mõõdetud hind või vastamisaeg arendaja enda taristus. Tegelikku mälutarvet, läbilaskevõimet ja viivitust mõjutavad ka kaalude vorming, käitustarkvara, riistvara ning päringu pikkus.

Treeningus saavutatud pikk kontekst vajab samuti täpset tõlgendust. Tõhus kontekstipikkus kirjeldab mudeli treenimisel ja hindamisel käsitletud pikki sisendeid; see ei määra iseenesest tulevase avaliku teenuse sisendipiiri ega näita, kui hästi mudel iga pika dokumendi detaile kasutab. Arendajale saab sellest praktiline omadus siis, kui väljalaske tingimused ja korduvad katsed on teada.

Mis on avalik ja mis on alles lubatud

Praegune avalik materjal võimaldab hinnata Beami suunda, kuid ei anna veel täielikku avatud kaaludega väljalaset. Varajane ligipääs tähendab kasutusvõimalust valitud rühmale; kaalude avaldamine võimaldaks mudelit iseseisvalt käitada ning võrrelda eri käituskeskkondi. See vahe on määrav ka litsentsi puhul: Apache 2.0 on väljakuulutatud väljalasketingimus, mille kohaldamist saab kontrollida koos avaldatavate failidega.

  • Juba avalik: arhitektuuri ja treeningu kirjeldus, tootja võrdlustabelid ning teave varajase ligipääsu kohta. Need annavad ülevaate mudeli eesmärgist ja esitatud tulemustest.
  • Hiljem lubatud: allalaaditavad kaalud, tehniline aruanne, mudelikaart ning töövahendid mudeli käitamiseks, hindamiseks ja kohandamiseks. Need määravad, kui hästi saab tutvustuses kirjeldatud mudelit väljaspool Reflectioni keskkonda kasutada.
  • Sõltumatuks hindamiseks vajalik: avaldatava versiooni üheselt määratletud failid ja katsete tingimused. Nende abil saab võrrelda oma tulemusi tootja tabelitega ning hinnata ressursikulu päris käituskeskkonnas.

Tehnilisel aruandel ja mudelikaardil on eri ülesanne. Aruanne saab avada treeningu ja mõõtmiste metoodikat, mudelikaart aga kasutuspiire ning teadaolevaid riske. Beam läbib veel viimaseid ohutushindamisi ja nende tulemused on lubatud tehnilisse aruandesse. Seega kuuluvad ka ohutuse kohta vajalikud üksikasjad kavandatud dokumentatsiooni, mitte praegu avaliku mudelipaketi juurde.

Miks tootja võrdlustabel ei ole sõltumatu test

Reflection on avaldanud tulemusi programmeerimis-, käsurea-, arutlus- ja tööriistakasutuse ülesannetest. Tabelid näitavad, milliste teiste mudelitega ettevõte Beami võrdleb, kuid Beami enda tulemused pärinevad praegu tootja katsetest. Sama ülesande skoor võib sõltuda testi versioonist, lubatud tööriistadest, vastuse koostamiseks kasutatud tokenitest ja hindamisviisist. Ilma samade tingimuste ning käivitatava mudeliversioonita ei saa välist katset tootja tulemusega täpselt võrrelda.

Eraldi tähelepanu vajab lubatud arvutussääst. Reflectioni graafik kasutab hinnangut, mis seob aktiivsete parameetrite arvu genereeritud tokenite hulgaga. Selle metoodika alt jäävad välja sisendteksti töötlemine, konteksti pikkusest sõltuvad tähelepanuarvutused ja mudeli teenindamise üldkulu. Graafik võib seega kirjeldada valitud arvutuslikku võrdlust, kuid sellest ei tulene konkreetse päringu hind ega kindel vastamisaeg.

Võrdlustulemuste juures loeb ka see, mida täpselt mõõdeti. Koodilõigu kirjutamine, olemasolevas koodibaasis vea parandamine ja tööriistadega mitmes etapis ülesande lahendamine koormavad mudelit erinevalt. Koondhinnang võib neid erinevusi varjata, eriti kui võrdluses olevatele mudelitele anti erinev hulk tööriistu või arvutusaega. Avalikud kaalud ja kirjeldatud katseseadistus annaksid võimaluse kontrollida just neid erisusi, mis arendaja enda töökoormuse puhul tulemuse määravad.

Oktoobri väljalase määrab Beami tegeliku saadavuse

Kaalude ilmumine muudaks Beami hinnatavaks ka väljaspool varajase ligipääsu programmi. Alles siis saab mõõta, millist riistvara mudel nõuab, kuidas see sobitub olemasolevate avatud lähtekoodiga töövahenditega ja kas tootja kirjeldatud tulemused korduvad avaldatud versiooniga. Dokumentatsioon aitab seejuures eristada mudeli enda omadusi katsetes kasutatud seadistusest.

Reflection on lubanud kaalud, mudelikaardi ja tehnilise aruande avaldada oktoobri jooksul, kuid täpset päeva pole teatanud. Järgmine sisuline muutus saabub koos nende failidega: siis muutuvad Beami käitamine, litsentsitingimuste läbivaatamine ning jõudluse sõltumatu mõõtmine arendajatele võimalikuks.

Loe ka:

Jaga:

Telli meie uudiskiri

Saa värskeimad Web3, AI ja krüptouudised otse oma postkasti.

0