Fractile – pregled na Quasa: čipi nove generacije za sklepanje AI

#Quasa #QUA #fractile

Fractile je britansko podjetje na področju globokih tehnologij, ki razvija specializirane procesorje za radikalno pospešitev sklepanja najnaprednejših modelov. Njihova ključna inovacija je fizično prepletanje pomnilnika in računskih enot na istem siliciju — arhitektura, ki presega tradicionalno ločitev med pomnilnikom in obdelavo, ki trenutno omejuje hitrost in zvišuje stroške sklepanja velikih jezikovnih modelov.

Fractile želi s celostnim pristopom (od zasnove na ravni tranzistorjev do programske opreme za sklepanje v oblaku) hkrati zagotoviti nizko zakasnitev in visoko prepustnost. Podjetje trdi, da lahko njegovi procesorji poganjajo najnaprednejše modele do 25× hitreje in za približno 1/10 stroškov obstoječih rešitev, pri tem pa učinkovito zagotavljajo na tisoče žetonov na sekundo za več tisoč sočasnih uporabnikov.

Ta izboljšava zmogljivosti naj bi poleg optimizacije trenutnih uvedb odprla tudi nove možnosti: bistveno daljša kontekstna okna in zapletene avtonomne naloge (kot so raziskave ali obsežen razvoj programske opreme), ki danes zahtevajo več dni človeškega dela, bi bilo potencialno mogoče opraviti v nekaj minutah.

Fractile je zbral $220 million od vlagateljev, med katerimi so Accel, Factorial Funds in sklad Founders Fund Petra Thiela. Ekipa deluje v Bristolu in Londonu ter združuje poglobljeno strokovno znanje s področij strojne opreme, programske opreme in sistemov AI.

Fractile je idealen za laboratorije AI, ponudnike storitev v oblaku in podjetja, ki potrebujejo bistveno hitrejše in stroškovno učinkovitejše sklepanje najnaprednejših modelov v velikem obsegu.

Poudarki

• Inovativna arhitektura s prepletenim pomnilnikom in računskimi enotami.
• Po navedbah podjetja do 25× hitrejše sklepanje pri ~1/10 stroškov.
• Zasnovano za hkratno doseganje nizke zakasnitve in visoke prepustnosti.
• Celosten razvoj od silicija do programske opreme.
• Obsežno financiranje in izkušena tehnična ekipa.

• Morebitni pomisleki

• Strojna oprema je še v razvoju (komercialni čipi se pričakujejo pozneje).
• Trenutni podatki o zmogljivosti temeljijo na internih rezultatih in simulacijah.
• Najbolj relevantno za organizacije, ki načrtujejo obsežno infrastrukturo za sklepanje.

Končna ocena: 4.6/5 zvezdic

Fractile rešuje eno najpomembnejših ozkih grl sodobne AI — visoke stroške in omejeno hitrost sklepanja najnaprednejših modelov. S preoblikovanjem razmerja med pomnilnikom in računskimi enotami na ravni silicija ima podjetje potencial, da bistveno spremeni ekonomiko izvajanja naprednih modelov AI.

Tudi vi si prislužite nagrado QUA z objavo ocene na Quasa.io!

Začnite: https://quasa.io/projects/fractile