PrismML apžvalga: įrenginiuose veikiančių didžiųjų kalbos modelių ateitis

#Quasa #QUA #prismml

PrismML yra JAV įsikūrusi dirbtinio intelekto tyrimų bendrovė, kurios ištakos glaudžiai susijusios su Caltech. Ji sprendžia itin svarbų iššūkį: kaip daug kartų padidinti modelių intelektą nedidinant jų dydžio ar sudėtingumo. Jos sprendimas – itin tankūs, smarkiai suglaudinti modeliai, kurie užtikrina aukštą našumą naudodami gerokai mažiau atminties, energijos ir skaičiavimo išteklių.

Pagrindinis bendrovės produktas, Bonsai 27B, yra 27 milijardų parametrų modelis, turintis 1-bit (tik 3.9 GB) ir ternarinę (5.9 GB) versijas. Tai leidžia tokio masto modeliui veikti tiesiogiai išmaniuosiuose telefonuose ir nešiojamuosiuose kompiuteriuose — anksčiau tai buvo neįmanoma naudojant standartinius pilno tikslumo modelius. PrismML teigia, kad 1-bit versija naudoja 14× mažiau atminties, veikia 8× greičiau ir sunaudoja 5× mažiau energijos nei tradiciniai 16-bit modeliai, kartu palaikydama kelių žingsnių samprotavimą, įrankių iškvietimą, agentines darbo eigas ir daugiarūšės informacijos supratimą.

Pagrindinė bendrovės filosofija yra “intelekto tankis” — kuo labiau padidinti vienam bitui tenkantį naudingą intelektą, užuot tiesiog didinus parametrų skaičių. Šiuo požiūriu siekiama vienu metu išspręsti dvi esmines problemas: didelių modelių, netelpančių asmeniniuose įrenginiuose, ir netvarių milžiniškų duomenų centrų energijos poreikių.

PrismML idealiai tinka kūrėjams, aparatinės įrangos gamintojams, tyrėjams ir įmonėms, norintiems, kad galingas dirbtinis intelektas veiktų vietoje, užtikrindamas aukštą privatumo lygį, mažą delsą ir didelį energijos vartojimo efektyvumą.

Svarbiausios savybės

• Pasaulinio lygio 1-bit ir ternarinis glaudinimas (Bonsai šeima).
• Bonsai 27B veikia telefonuose naudodamas tik ~4 GB.
• Reikšmingi patobulinimai atminties naudojimo, spartos ir energijos vartojimo efektyvumo srityse.
• Palaiko samprotavimą, įrankių naudojimą ir daugiarūšės informacijos apdorojimą pačiame įrenginyje.
• Tvirtas mokslinių tyrimų pagrindas iš Caltech.

Į ką verta atsižvelgti

• Kadangi ši technologija palyginti nauja, jos palaikymas ekosistemoje ir tiksliojo derinimo įrankių pasiūla vis dar plečiasi.
• Šiuo metu geriausi rezultatai pasiekiami naudojant šiuolaikinę aukščiausios klasės mobiliųjų įrenginių ir nešiojamųjų kompiuterių aparatinę įrangą.

Bendras įvertinimas: 4.6/5 žvaigždučių

PrismML šiuo metu plečia vienos svarbiausių dirbtinio intelekto sričių ribas — siekia, kad dideli modeliai taptų praktiškai pritaikomi kasdieniuose įrenginiuose. Sutelkusi dėmesį į intelekto tankį, o ne vien į dydį, bendrovė reikšmingai prisideda prie galingo dirbtinio intelekto perkėlimo iš debesijos į galinius įrenginius.

Jūs taip pat gaukite QUA atlygį rašydami apžvalgas Quasa.io!

Pradėkite: https://quasa.io/projects/prismml