Fractile recenzija na platformi Quasa: AI čipovi nove generacije za inferenciju

#Quasa #QUA #fractile

Fractile je britanska kompanija za razvoj naprednih tehnologija koja razvija specijalizirane procesore osmišljene da radikalno ubrzaju inferenciju najnaprednijih modela. Njihova ključna inovacija je fizičko ispreplitanje memorije i računarskih elemenata na istom siliciju — arhitektura koja prevazilazi tradicionalno razdvajanje memorije i obrade podataka, koje trenutno ograničava brzinu inferencije velikih jezičkih modela i povećava njene troškove.

Pristupom koji obuhvata cijeli tehnološki sklop (od dizajna na nivou tranzistora do softvera za inferenciju u oblaku), Fractile nastoji istovremeno osigurati nisku latenciju i visoku propusnost. Kompanija tvrdi da njeni procesori mogu pokretati najnaprednije modele do 25× brže i uz približno 1/10th troškova postojećih rješenja, uz efikasnu isporuku hiljada tokena u sekundi hiljadama istovremenih korisnika.

Očekuje se da ovo poboljšanje performansi neće samo optimizirati postojeće primjene nego i otvoriti nove mogućnosti: znatno duže kontekstne prozore i složene autonomne zadatke (poput istraživanja ili razvoja softvera velikog obima) koji danas zahtijevaju dane ljudskog rada, a potencijalno bi se mogli svesti na minute.

Fractile je prikupio $220 miliona od investitora među kojima su Accel, Factorial Funds i Founders Fund Petera Thiela. Tim radi u Bristolu i Londonu i objedinjuje duboko stručno znanje iz oblasti hardvera, softvera i AI sistema.

Fractile je idealan za AI laboratorije, pružaoce usluga u oblaku i preduzeća kojima je potrebna znatno brža i troškovno efikasnija inferencija najnaprednijih modela u velikom obimu.

Izdvojene prednosti

• Inovativna arhitektura s isprepletenom memorijom i računarskim elementima.
• Prema tvrdnjama, do 25× brža inferencija uz ~1/10th troškova.
• Dizajniran za istovremeno postizanje niske latencije i visoke propusnosti.
• Razvoj cijelog tehnološkog sklopa od silicija do softvera.
• Snažna finansijska podrška i iskusan tehnički tim.

• Mogući faktori za razmatranje

• Hardver je još u razvoju (komercijalni čipovi očekuju se kasnije).
• Trenutni podaci o performansama zasnovani su na internim rezultatima i simulacijama.
• Najrelevantniji za organizacije koje planiraju infrastrukturu za inferenciju velikog obima.

Ukupna ocjena: 4.6/5 zvjezdica

Fractile se bavi jednim od najkritičnijih uskih grla u savremenoj AI — visokim troškovima i ograničenom brzinom inferencije najnaprednijih modela. Redizajniranjem odnosa između memorije i računarskih elemenata na nivou silicija, kompanija ima potencijal da značajno promijeni ekonomsku računicu pokretanja naprednih AI modela.

I vi osvojite QUA nagradu pisanjem recenzija na Quasa.io!

Započnite: https://quasa.io/projects/fractile