Fractile-anmeldelse på Quasa: Næste generations chips til AI-inferens

#Quasa #QUA #fractile

Fractile er en britisk deeptech-virksomhed, der udvikler specialiserede processorer designet til at accelerere inferens med de mest avancerede modeller markant. Deres vigtigste innovation er at integrere hukommelse og beregningsenheder fysisk mellem hinanden på samme siliciumchip — en arkitektur, der overvinder den traditionelle adskillelse mellem hukommelse og databehandling, som i dag begrænser både hastigheden og omkostningseffektiviteten ved inferens med store sprogmodeller.

Med en tilgang, der omfatter hele teknologistakken (fra design på transistorniveau til software til inferens i skyen), sigter Fractile mod at levere både lav latenstid og høj gennemstrømning samtidig. Virksomheden hævder, at dens processorer kan køre de mest avancerede modeller op til 25× hurtigere og til cirka 1/10th af omkostningerne ved eksisterende løsninger, samtidig med at de effektivt leverer tusindvis af tokens pr. sekund til tusindvis af samtidige brugere.

Denne forbedring af ydeevnen forventes ikke blot at optimere nuværende implementeringer, men også at åbne nye muligheder: væsentligt længere kontekstvinduer og komplekse autonome opgaver (såsom forskning eller softwareudvikling i stor skala), der i dag kræver flere dages menneskelig indsats, vil potentielt kunne klares på få minutter.

Fractile har rejst $220 million fra investorer, herunder Accel, Factorial Funds og Peter Thiels Founders Fund. Teamet arbejder i Bristol og London og kombinerer dyb ekspertise inden for hardware, software og AI-systemer.

Fractile er ideel til AI-laboratorier, cloududbydere og virksomheder, der har brug for markant hurtigere og mere omkostningseffektiv inferens med de mest avancerede modeller i stor skala.

Højdepunkter

• Innovativ arkitektur med hukommelse og beregningsenheder integreret mellem hinanden.
• Angiveligt op til 25× hurtigere inferens til ~1/10th af omkostningerne.
• Designet til samtidig at levere lav latenstid og høj gennemstrømning.
• Udvikling af hele teknologistakken fra silicium til software.
• Stærk finansiering og et erfarent teknisk team.

• Mulige forbehold

• Hardwaren er stadig under udvikling (kommercielle chips forventes senere).
• De nuværende tal for ydeevnen er baseret på interne resultater og simuleringer.
• Mest relevant for organisationer, der planlægger inferensinfrastruktur i stor skala.

Samlet vurdering: 4.6/5 stjerner

Fractile arbejder på at løse en af de mest kritiske flaskehalse inden for moderne AI — de høje omkostninger og den begrænsede hastighed ved inferens med de mest avancerede modeller. Ved at redesigne forholdet mellem hukommelse og beregningsenheder på siliciumniveau har virksomheden potentiale til at ændre økonomien i at køre avancerede AI-modeller væsentligt.

Optjen også en QUA-belønning ved at skrive en anmeldelse på Quasa.io!

Kom i gang: https://quasa.io/projects/fractile