PrismML — Adolygiad: Dyfodol Modelau Iaith Mawr ar Ddyfeisiau

#Quasa #QUA #prismml

Mae PrismML yn gwmni ymchwil AI sydd wedi’i leoli yn yr Unol Daleithiau (ac sydd â gwreiddiau cryf yn Caltech) ac sy’n canolbwyntio ar her hollbwysig: sut i luosi deallusrwydd modelau heb gynyddu eu maint na’u cymhlethdod. Ei ateb yw modelau hynod ddwys sydd wedi’u cywasgu’n helaeth ac sy’n perfformio’n dda gan ddefnyddio llawer iawn llai o gof, egni ac adnoddau cyfrifiadurol.

Mae ei brif gynnyrch, Bonsai 27B, yn fodel â 27 biliwn o baramedrau sydd ar gael mewn fersiynau 1-bit (dim ond 3.9 GB) a thernaidd (5.9 GB). Mae hyn yn galluogi model o’r maint hwn i redeg yn uniongyrchol ar ffonau clyfar a gliniaduron — rhywbeth a oedd yn amhosibl o’r blaen gyda modelau safonol manwl-gywirdeb llawn. Mae PrismML yn honni bod y fersiwn 1-bit yn defnyddio 14× llai o gof, yn rhedeg 8× yn gyflymach, ac yn defnyddio 5× llai o egni o gymharu â modelau 16-bit traddodiadol, gan barhau i gefnogi rhesymu aml-gam, galw offer, llifoedd gwaith asiantig a dealltwriaeth amlfodd.

Athroniaeth graidd y cwmni yw “dwysedd deallusrwydd” — sicrhau cymaint o ddeallusrwydd defnyddiol â phosibl fesul bit yn hytrach na dim ond cynyddu nifer y paramedrau. Nod y dull hwn yw datrys dwy broblem fawr ar yr un pryd: modelau mawr nad oes lle iddynt ar ddyfeisiau personol, a gofynion egni anghynaliadwy canolfannau data enfawr.

Mae PrismML yn ddelfrydol ar gyfer datblygwyr, gweithgynhyrchwyr caledwedd, ymchwilwyr a chwmnïau sydd am i AI pwerus redeg yn lleol gyda phreifatrwydd cadarn, oedi isel ac effeithlonrwydd ynni uchel.

Uchafbwyntiau

• Cywasgu 1-bit a thernaidd o’r radd flaenaf yn y byd (teulu Bonsai).
• Mae Bonsai 27B yn rhedeg ar ffonau gan ddefnyddio dim ond ~4 GB.
• Gwelliannau sylweddol o ran defnydd o gof, cyflymder ac effeithlonrwydd ynni.
• Yn cefnogi rhesymu, defnyddio offer a galluoedd amlfodd ar y ddyfais ei hun.
• Sylfaen ymchwil gadarn o Caltech.

Pwyntiau i’w Hystyried

• Gan fod y dechnoleg yn gymharol newydd, mae’r gefnogaeth yn yr ecosystem a’r offer mireinio yn dal i ehangu.
• Ar hyn o bryd, ceir y canlyniadau gorau ar galedwedd modern o’r radd flaenaf mewn dyfeisiau symudol a gliniaduron.

Dyfarniad Cyffredinol: 4.6/5 seren

Mae PrismML yn gwthio ffiniau un o feysydd pwysicaf AI ar hyn o bryd — gwneud modelau mawr yn ymarferol ar ddyfeisiau bob dydd. Drwy ganolbwyntio ar ddwysedd deallusrwydd yn hytrach na maint yn unig, mae’r cwmni’n helpu i symud AI pwerus o’r cwmwl i ymyl y rhwydwaith mewn ffordd ystyrlon.

Enillwch wobr QUA drwy ysgrifennu adolygiad ar Quasa.io hefyd!

Dechreuwch: https://quasa.io/projects/prismml