Fractile-recension på Quasa: Nästa generations chip för AI-inferens

#Quasa #QUA #fractile

Fractile är ett brittiskt deeptech-företag som utvecklar specialiserade processorer utformade för att radikalt accelerera inferens för de mest avancerade AI-modellerna. Deras främsta innovation är att fysiskt varva minne och beräkningsenheter på samma kisel — en arkitektur som övervinner den traditionella separationen mellan minne och bearbetning som i dag begränsar både hastigheten och kostnadseffektiviteten vid inferens med stora språkmodeller.

Genom att arbeta med hela teknikstacken (från design på transistornivå till programvara för inferens i molnet) strävar Fractile efter att samtidigt erbjuda både låg latens och hög genomströmning. Företaget hävdar att dess processorer kan köra de mest avancerade modellerna upp till 25× snabbare och till ungefär 1/10th av kostnaden för befintliga lösningar, samtidigt som de effektivt levererar tusentals token per sekund till tusentals samtidiga användare.

Denna prestandaförbättring förväntas inte bara optimera befintliga driftsättningar utan också öppna nya möjligheter: betydligt längre kontextfönster och komplexa autonoma uppgifter (som forskning eller storskalig programvaruutveckling) som i dag kräver dagar av mänskligt arbete skulle potentiellt kunna genomföras på minuter.

Fractile har tagit in $220 million från investerare som Accel, Factorial Funds och Peter Thiels Founders Fund. Teamet arbetar i Bristol och London och förenar djup expertis inom hårdvara, programvara och AI-system.

Fractile är idealiskt för AI-laboratorier, molnleverantörer och företag som behöver dramatiskt snabbare och mer kostnadseffektiv inferens för de mest avancerade modellerna i stor skala.

Höjdpunkter

• Innovativ arkitektur med minne och beräkningsenheter som varvas.
• Uppges ge upp till 25× snabbare inferens till ~1/10th av kostnaden.
• Utformad för att samtidigt ge låg latens och hög genomströmning.
• Utveckling av hela teknikstacken från kisel till programvara.
• Stark finansiering och ett erfaret tekniskt team.

• Saker att tänka på

• Hårdvaran är fortfarande under utveckling (kommersiella chip väntas senare).
• Nuvarande prestandasiffror bygger på interna resultat och simuleringar.
• Mest relevant för organisationer som planerar storskalig infrastruktur för inferens.

Samlat omdöme: 4.6/5 stjärnor

Fractile tar sig an en av de mest kritiska flaskhalsarna inom modern AI — den höga kostnaden och den begränsade hastigheten vid inferens med de mest avancerade modellerna. Genom att omforma förhållandet mellan minne och beräkningsenheter på kiselnivå har företaget potential att avsevärt förändra de ekonomiska förutsättningarna för att köra avancerade AI-modeller.

Få en belöning i QUA genom att också skriva en recension på Quasa.io!

Kom igång: https://quasa.io/projects/fractile