Fractile anmeldt på Quasa: Neste generasjons brikker for AI-inferens

#Quasa #QUA #fractile

Fractile er et britisk dypteknologiselskap som utvikler spesialiserte prosessorer utformet for å gjøre inferens med de mest avanserte modellene radikalt raskere. Deres viktigste innovasjon er å fysisk flette sammen minne og beregningsenheter på samme silisiumbrikke — en arkitektur som overvinner det tradisjonelle skillet mellom minne og prosessering som i dag begrenser både hastigheten og kostnadseffektiviteten ved inferens med store språkmodeller.

Ved å ta en helhetlig tilnærming til hele teknologistakken (fra design på transistornivå til programvare for inferens i skyen) tar Fractile sikte på å levere både lav latenstid og høy gjennomstrømning samtidig. Selskapet hevder at prosessorene kan kjøre de mest avanserte modellene opptil 25× raskere og til omtrent 1/10th av kostnaden ved eksisterende løsninger, samtidig som de effektivt leverer tusenvis av tokener per sekund til tusenvis av samtidige brukere.

Denne ytelsesforbedringen forventes ikke bare å optimalisere dagens løsninger i drift, men også å åpne nye muligheter: betydelig lengre kontekstvinduer og komplekse autonome oppgaver (som forskning eller programvareutvikling i stor skala) som i dag krever flere dager med menneskelig innsats, kan potensielt gjennomføres på minutter.

Fractile har hentet inn $220 million fra investorer som Accel, Factorial Funds og Peter Thiels Founders Fund. Teamet arbeider i Bristol og London og kombinerer inngående ekspertise innen maskinvare, programvare og AI-systemer.

Fractile er ideelt for AI-laboratorier, skyleverandører og virksomheter som trenger dramatisk raskere og mer kostnadseffektiv inferens med de mest avanserte modellene i stor skala.

Høydepunkter

• Innovativ arkitektur med sammenflettet minne og beregningsenheter.
• Angivelig opptil 25× raskere inferens til ~1/10th av kostnaden.
• Utformet for lav latenstid og høy gjennomstrømning samtidig.
• Utvikling av hele teknologistakken fra silisium til programvare.
• Solid finansiering og et erfarent teknisk team.

• Mulige forhold å ta hensyn til

• Maskinvaren er fortsatt under utvikling (kommersielle brikker forventes senere).
• Dagens ytelsestall er basert på interne resultater og simuleringer.
• Mest relevant for organisasjoner som planlegger inferensinfrastruktur i stor skala.

Samlet vurdering: 4.6/5 stjerner

Fractile tar tak i en av de mest kritiske flaskehalsene i moderne AI — den høye kostnaden og den begrensede hastigheten ved inferens med de mest avanserte modellene. Ved å redesigne forholdet mellom minne og beregningsenheter på silisiumnivå har selskapet potensial til å endre kostnadsbildet for drift av avanserte AI-modeller betydelig.

Få belønning i QUA ved å skrive anmeldelser på Quasa.io du også!

Kom i gang: https://quasa.io/projects/fractile