PrismML-i ülevaade: seadmes töötavate suurte keelemudelite tulevik

#Quasa #QUA #prismml

PrismML on USA-s asuv tehisintellekti uurimisettevõte (millel on tugevad juured Caltechis), mis keskendub olulisele väljakutsele: kuidas mitmekordistada mudelite intelligentsust nende suurust või keerukust kasvatamata. Nende lahenduseks on ülitihedad, tugevalt tihendatud mudelid, mis pakuvad suurt jõudlust, kasutades samal ajal märkimisväärselt vähem mälu, energiat ja arvutusressursse.

Nende lipulaev Bonsai 27B on 27 miljardi parameetriga mudel, mis on saadaval 1-bitise (ainult 3.9 GB) ja kolmikväärtuselise (5.9 GB) versioonina. See võimaldab nii suurel mudelil töötada otse nutitelefonides ja sülearvutites — miski, mis oli varem tavapäraste täistäpsusega mudelite puhul võimatu. PrismML väidab, et 1-bitine versioon kasutab 14× vähem mälu, töötab 8× kiiremini ja tarbib 5× vähem energiat kui traditsioonilised 16-bitised mudelid, toetades seejuures endiselt mitmesammulist arutlust, tööriistade väljakutsumist, agendipõhiseid töövooge ja multimodaalset mõistmist.

Ettevõtte põhifilosoofia on “intelligentsuse tihedus” — kasuliku intelligentsuse maksimeerimine biti kohta, selle asemel et lihtsalt parameetrite arvu suurendada. Selle lähenemisviisi eesmärk on lahendada korraga kaks suurt probleemi: suured mudelid, mis ei mahu isiklikesse seadmetesse, ja hiiglaslike andmekeskuste jätkusuutmatu energiavajadus.

PrismML sobib ideaalselt arendajatele, riistvaratootjatele, teadlastele ja ettevõtetele, kes soovivad võimekat tehisintellekti, mis töötab kohapeal ning pakub tugevat privaatsuskaitset, väikest latentsust ja suurt energiatõhusust.

Peamised eelised

• Maailmatasemel 1-bitine ja kolmikväärtuseline tihendus (Bonsai tooteperekond).
• Bonsai 27B töötab telefonides, vajades vaid ~4 GB.
• Märkimisväärsed edusammud mälukasutuse, kiiruse ja energiatõhususe osas.
• Toetab arutlust, tööriistade kasutamist ja multimodaalseid võimalusi otse seadmes.
• Tugev teaduslik alus Caltechist.

Asjaolud, millega tasub arvestada

• Kuna tegemist on suhteliselt uue tehnoloogiaga, laienevad ökosüsteemi tugi ja peenhäälestustööriistade valik endiselt.
• Praegu saavutatakse parimad tulemused tänapäevaste tippklassi mobiilseadmete ja sülearvutite riistvaraga.

Üldhinnang: 4.6/5 tärni

PrismML edendab praegu üht tehisintellekti kõige olulisemat arengusuunda — suurte mudelite praktilist kasutamist igapäevastes seadmetes. Keskendudes pelga suuruse asemel intelligentsuse tihedusele, aitab ettevõte sisuliselt viia võimeka tehisintellekti pilvest servaseadmetesse.

Teeni ka sina QUA preemiat, kirjutades Quasa.io-s arvustusi!

Alusta siit: https://quasa.io/projects/prismml