PrismML: Pagsusuri sa Kinabukasan ng Malalaking Modelo ng Wika na Tumatakbo Mismo sa Device

#Quasa #QUA #prismml

Ang PrismML ay isang kumpanya ng pananaliksik sa AI na nakabase sa U.S. (na may matibay na pinagmulan sa Caltech) at nakatuon sa isang mahalagang hamon: kung paano paramihin ang talino ng mga modelo nang hindi pinapalaki ang mga ito o ginagawang mas kumplikado. Ang kanilang solusyon ay mga modelong napakasiksik at lubhang naka-compress na naghahatid ng mahusay na pagganap habang gumagamit ng lubhang mas kaunting memory, enerhiya, at kapasidad sa pagproseso.

Ang kanilang pangunahing produkto, ang Bonsai 27B, ay isang modelong may 27 bilyong parameter na available sa mga bersyong 1-bit (3.9 GB lamang) at ternary (5.9 GB). Dahil dito, direktang makakatakbo sa mga smartphone at laptop ang isang modelong ganito kalaki — isang bagay na dati ay imposible sa mga karaniwang modelong gumagamit ng buong precision. Ayon sa PrismML, ang bersyong 1-bit ay gumagamit ng 14× na mas kaunting memory, tumatakbo nang 8× na mas mabilis, at kumokonsumo ng 5× na mas kaunting enerhiya kumpara sa mga tradisyonal na modelong 16-bit, habang sinusuportahan pa rin ang pangangatwirang may maraming hakbang, pagtawag sa mga tool, mga daloy ng trabaho ng mga AI agent, at pag-unawa sa iba’t ibang uri ng datos.

Ang pangunahing pilosopiya ng kumpanya ay “densidad ng talino” — pag-maximize sa kapaki-pakinabang na talino sa bawat bit sa halip na basta paramihin ang mga parameter. Layunin ng pamamaraang ito na sabay na lutasin ang dalawang malaking problema: mga modelong masyadong malaki para magkasya sa mga personal na device, at ang hindi napapanatiling pangangailangan sa enerhiya ng malalaking datacenter.

Ang PrismML ay angkop para sa mga developer, tagagawa ng hardware, mananaliksik, at kumpanyang gustong magpatakbo ng makapangyarihang AI nang lokal, na may matibay na proteksyon sa privacy, mababang latency, at mataas na kahusayan sa paggamit ng enerhiya.

Mga Tampok

• Pandaigdigang antas ng 1-bit at ternary compression (pamilya ng Bonsai).
• Tumatakbo ang Bonsai 27B sa mga telepono gamit ang ~4 GB lamang.
• Malalaking pagpapahusay sa paggamit ng memory, bilis, at kahusayan sa paggamit ng enerhiya.
• Sinusuportahan ang pangangatwiran, paggamit ng mga tool, at pagproseso ng iba’t ibang uri ng datos mismo sa device.
• Matibay na pundasyon sa pananaliksik mula sa Caltech.

Mga Posibleng Dapat Isaalang-alang

• Bilang isang medyo bagong teknolohiya, patuloy pang lumalawak ang suporta ng ecosystem at mga tool para sa fine-tuning.
• Sa kasalukuyan, nakikita ang pinakamahuhusay na resulta sa makabago at mataas na uri ng hardware ng mga mobile device at laptop.

Pangkalahatang Hatol: 4.6/5 bituin

Isinusulong ng PrismML ang isa sa pinakamahahalagang larangan ng pag-unlad sa AI ngayon — ang gawing praktikal ang malalaking modelo sa mga pang-araw-araw na device. Sa pagtutok sa densidad ng talino sa halip na sa laki lamang, tumutulong ang kumpanya na mailipat ang makapangyarihang AI mula sa cloud patungo sa mga lokal na device sa makabuluhang paraan.

Makakuha rin ng gantimpalang QUA sa pamamagitan ng pagsusulat ng pagsusuri sa Quasa.io!

Magsimula: https://quasa.io/projects/prismml