Fractile recenzija na platformi Quasa: čipovi nove generacije za inferenciju umjetne inteligencije

#Quasa #QUA #fractile

Fractile je britanska tvrtka koja razvija napredne tehnologije i izrađuje specijalizirane procesore osmišljene za radikalno ubrzanje inferencije najnaprednijih modela. Njezina je ključna inovacija fizičko ispreplitanje memorije i računalnih jedinica na istom siliciju — arhitektura koja nadilazi tradicionalnu odvojenost memorije i obrade koja trenutačno ograničava brzinu i troškovnu učinkovitost inferencije velikih jezičnih modela.

Sveobuhvatnim pristupom razvoju (od projektiranja na razini tranzistora do softvera za inferenciju u oblaku), Fractile nastoji istodobno postići nisku latenciju i visoku propusnost. Tvrtka tvrdi da njezini procesori mogu izvršavati najnaprednije modele do 25× brže i uz približno 1/10th troškova postojećih rješenja, uz učinkovitu isporuku tisuća tokena u sekundi tisućama istodobnih korisnika.

Očekuje se da će ovo poboljšanje performansi ne samo optimizirati postojeće implementacije nego i otvoriti nove mogućnosti: znatno dulje kontekstne prozore i složene autonomne zadatke (poput istraživanja ili razvoja softvera velikih razmjera) koji bi se, umjesto današnjih višednevnih ljudskih napora, potencijalno mogli obaviti u nekoliko minuta.

Fractile je prikupio $220 milijuna od ulagača među kojima su Accel, Factorial Funds i Founders Fund Petera Thiela. Tim djeluje u Bristolu i Londonu te objedinjuje dubinsku stručnost u hardveru, softveru i sustavima umjetne inteligencije.

Fractile je idealan za laboratorije za umjetnu inteligenciju, pružatelje usluga u oblaku i poduzeća kojima je potrebna drastično brža i troškovno učinkovitija inferencija najnaprednijih modela u velikim razmjerima.

Izdvojene značajke

• Inovativna arhitektura s isprepletenim memorijskim i računalnim jedinicama.
• Prema tvrdnjama tvrtke, do 25× brža inferencija uz ~1/10th troškova.
• Osmišljeno za istodobno postizanje niske latencije i visoke propusnosti.
• Sveobuhvatan razvoj od silicija do softvera.
• Znatna financijska potpora i iskusan tehnički tim.

• Što treba uzeti u obzir

• Hardver je još u razvoju (komercijalni čipovi očekuju se kasnije).
• Trenutačni podaci o performansama temelje se na internim rezultatima i simulacijama.
• Najrelevantnije za organizacije koje planiraju infrastrukturu za inferenciju velikih razmjera.

Ukupna ocjena: 4.6/5 zvjezdica

Fractile rješava jedno od najkritičnijih uskih grla moderne umjetne inteligencije — visoke troškove i ograničenu brzinu inferencije najnaprednijih modela. Preoblikovanjem odnosa između memorije i računalnih jedinica na razini silicija, tvrtka ima potencijal znatno promijeniti ekonomsku računicu izvršavanja naprednih modela umjetne inteligencije.

I vi zaradite nagradu u QUA pisanjem recenzije na Quasa.io!

Započnite: https://quasa.io/projects/fractile