Fractile: anàlisi a Quasa dels xips d’inferència d’IA de nova generació

#Quasa #QUA #fractile

Fractile és una empresa de tecnologia avançada amb seu al Regne Unit que desenvolupa processadors especialitzats dissenyats per accelerar radicalment la inferència dels models de frontera. La seva innovació clau consisteix a intercalar físicament la memòria i el càlcul en un mateix xip de silici — una arquitectura que supera la separació tradicional entre la memòria i el processament, que actualment limita tant la velocitat com el cost de la inferència dels grans models de llenguatge.

Amb un enfocament que abasta tota la pila tecnològica (des del disseny a escala de transistor fins al programari d’inferència al núvol), Fractile pretén oferir simultàniament una latència baixa i una capacitat de processament elevada. L’empresa afirma que els seus processadors poden executar els models més avançats fins a 25× més ràpidament i amb aproximadament 1/10th del cost de les solucions existents, alhora que proporcionen de manera eficient milers de tokens per segon a milers d’usuaris simultanis.

Es preveu que aquesta millora del rendiment no tan sols optimitzi els desplegaments actuals, sinó que també obri noves possibilitats: finestres de context significativament més llargues i tasques autònomes complexes (com ara la recerca o el desenvolupament de programari a gran escala) que avui requereixen dies de treball humà es podrien arribar a completar en qüestió de minuts.

Fractile ha captat $220 million d’inversors com ara Accel, Factorial Funds i Founders Fund, de Peter Thiel. L’equip treballa entre Bristol i Londres i combina coneixements especialitzats sòlids en maquinari, programari i sistemes d’IA.

Fractile és ideal per a laboratoris d’IA, proveïdors de serveis al núvol i empreses que necessiten una inferència de models de frontera a gran escala molt més ràpida i amb un cost molt més baix.

Aspectes destacats

• Arquitectura innovadora amb memòria i càlcul intercalats.
• Inferència fins a 25× més ràpida, segons l’empresa, amb ~1/10th del cost.
• Dissenyat per oferir simultàniament una latència baixa i una capacitat de processament elevada.
• Desenvolupament de tota la pila tecnològica, des del silici fins al programari.
• Finançament sòlid i equip tècnic experimentat.

• Aspectes que cal tenir en compte

• El maquinari encara està en desenvolupament (es preveu que els xips comercials arribin més endavant).
• Les xifres de rendiment actuals es basen en resultats interns i simulacions.
• Especialment rellevant per a les organitzacions que planifiquen una infraestructura d’inferència a gran escala.

Valoració global: 4.6/5 estrelles

Fractile aborda un dels colls d’ampolla més crítics de la IA moderna — el cost elevat i la velocitat limitada de la inferència dels models de frontera. En redissenyar la relació entre la memòria i el càlcul a escala de silici, l’empresa té el potencial de canviar substancialment els costos d’executar models d’IA avançats.

Tu també pots guanyar una recompensa en QUA publicant una ressenya a Quasa.io!

Comença: https://quasa.io/projects/fractile