Fractile: Pagsusuri sa Quasa ng mga Bagong Henerasyong Chip para sa AI Inference

#Quasa #QUA #fractile

Fractile ay isang kumpanyang deep-tech na nakabase sa UK at gumagawa ng mga espesyal na processor na idinisenyo upang lubos na pabilisin ang inference ng mga pinakamakabagong modelo. Ang pangunahing inobasyon nito ay ang pisikal na salit-salitang paglalagay ng memory at mga bahagi para sa pagproseso sa iisang silicon — isang arkitekturang lumalampas sa tradisyonal na paghihiwalay ng memory at pagproseso na kasalukuyang naglilimita sa bilis at nagpapataas sa gastos ng inference ng malalaking modelo ng wika.

Sa paggamit ng full-stack na pamamaraan (mula sa disenyo sa antas ng transistor hanggang sa software para sa cloud inference), layunin ng Fractile na sabay na makamit ang mababang latency at mataas na throughput. Ayon sa kumpanya, kayang patakbuhin ng mga processor nito ang mga pinakaabanteng modelo nang hanggang 25× na mas mabilis at sa humigit-kumulang 1/10th ng gastos ng mga kasalukuyang solusyon, habang mahusay na naghahatid ng libo-libong token bawat segundo sa libo-libong sabay-sabay na gumagamit.

Inaasahang ang pagbuting ito sa pagganap ay hindi lamang magpapahusay sa mga kasalukuyang deployment kundi magbubukas din ng mga bagong posibilidad: mas mahahabang context window at masalimuot na gawaing kayang isagawa nang awtonomo (gaya ng pananaliksik o malawakang pagbuo ng software) na nangangailangan ngayon ng ilang araw na paggawa ng tao ay posibleng matapos sa loob lamang ng ilang minuto.

Nakalikom ang Fractile ng $220 million mula sa mga mamumuhunan kabilang ang Accel, Factorial Funds, at Founders Fund ni Peter Thiel. Nagtatrabaho ang koponan sa Bristol at London at pinagsasama nito ang malalim na kadalubhasaan sa hardware, software, at mga sistema ng AI.

Ang Fractile ay angkop para sa mga laboratoryo ng AI, mga tagapagbigay ng serbisyo sa cloud, at mga negosyong nangangailangan ng higit na mas mabilis at mas matipid na inference para sa malawakang paggamit ng mga pinakamakabagong modelo.

Mga Tampok

• Makabagong arkitektura na may salit-salitang pagkakalagay ng memory at mga bahagi para sa pagproseso.
• Ayon sa kumpanya, hanggang 25× na mas mabilis na inference sa ~1/10th ng gastos.
• Idinisenyo para sa sabay na mababang latency at mataas na throughput.
• Full-stack na pagbuo mula silicon hanggang software.
• Malakas na pagpopondo at bihasang teknikal na koponan.

• Mga Posibleng Dapat Isaalang-alang

• Ginagawa pa ang hardware (inaasahang darating pa sa hinaharap ang mga komersiyal na chip).
• Ang mga kasalukuyang bilang ng pagganap ay batay sa mga panloob na resulta at simulasyon.
• Pinakaangkop para sa mga organisasyong nagpaplano ng malawakang imprastraktura para sa inference.

Pangkalahatang Hatol: 4.6/5 bituin

Tinutugunan ng Fractile ang isa sa mga pinakamalaking sagabal sa makabagong AI — ang mataas na gastos at limitadong bilis ng inference ng mga pinakamakabagong modelo. Sa muling pagdisenyo ng ugnayan ng memory at pagproseso sa antas ng silicon, may potensiyal ang kumpanya na makabuluhang baguhin ang mga gastos at benepisyo sa pagpapatakbo ng mga abanteng modelo ng AI.

Makakuha rin ng gantimpalang QUA sa pamamagitan ng pagsusulat ng pagsusuri sa Quasa.io!

Magsimula: https://quasa.io/projects/fractile