Fractile’i ülevaade Quasas: uue põlvkonna AI-järelduskiibid

#Quasa #QUA #fractile

Fractile on Ühendkuningriigis tegutsev süvatehnoloogiaettevõte, mis arendab spetsiaalseid protsessoreid, et kiirendada märkimisväärselt kõige arenenumate mudelite järeldustöötlust. Nende peamine uuendus on mälu ja arvutusüksuste füüsiline läbipõimimine samal ränikiibil — arhitektuur, mis ületab mälu ja andmetöötluse tavapärase eraldatuse, mis praegu piirab suurte keelemudelite järeldustöötluse kiirust ja suurendab selle maksumust.

Kogu tehnoloogiapinu hõlmava lähenemisega (transistoritaseme disainist pilvepõhise järeldustöötluse tarkvarani) püüab Fractile pakkuda korraga nii väikest latentsust kui ka suurt läbilaskevõimet. Ettevõtte väitel suudavad selle protsessorid käitada kõige arenenumaid mudeleid kuni 25× kiiremini ja ligikaudu 1/10 olemasolevate lahenduste maksumusest, pakkudes samal ajal tõhusalt tuhandeid tokeneid sekundis tuhandetele samaaegsetele kasutajatele.

Eeldatavasti aitab see jõudluse kasv lisaks praeguste juurutuste optimeerimisele avada ka uusi võimalusi: märkimisväärselt pikemad kontekstiaknad ning keerukad autonoomsed ülesanded (näiteks teadustöö või suuremahuline tarkvaraarendus), mis nõuavad praegu inimestelt päevadepikkust tööd, võiksid potentsiaalselt valmida minutitega.

Fractile on kaasanud $220 miljonit investoritelt, kelle hulka kuuluvad Accel, Factorial Funds ja Peter Thieli Founders Fund. Meeskond tegutseb Bristolis ja Londonis ning ühendab põhjalikud teadmised riistvarast, tarkvarast ja AI-süsteemidest.

Fractile sobib ideaalselt AI-laboritele, pilveteenuse pakkujatele ja ettevõtetele, kes vajavad kõige arenenumate mudelite jaoks suures mahus märkimisväärselt kiiremat ja kulutõhusamat järeldustöötlust.

Peamised eelised

• Uuenduslik arhitektuur, milles mälu ja arvutusüksused on omavahel läbi põimitud.
• Väidetavalt kuni 25× kiirem järeldustöötlus ~1/10 maksumusega.
• Loodud pakkuma korraga väikest latentsust ja suurt läbilaskevõimet.
• Kogu tehnoloogiapinu hõlmav arendus ränikiibist tarkvarani.
• Tugev rahastus ja kogenud tehniline meeskond.

• Asjaolud, millega tasub arvestada

• Riistvara on veel arendusjärgus (müügiks mõeldud kiipe on oodata hiljem).
• Praegused jõudlusnäitajad põhinevad ettevõttesisestel tulemustel ja simulatsioonidel.
• Kõige asjakohasem organisatsioonidele, kes kavandavad suuremahulist järeldustöötluse taristut.

Üldhinnang: 4.6/5 tärni

Fractile tegeleb tänapäevase AI ühe kõige kriitilisema kitsaskohaga — kõige arenenumate mudelite järeldustöötluse suure maksumuse ja piiratud kiirusega. Kujundades mälu ja arvutusüksuste vahelise suhte ränikiibi tasandil ümber, võib ettevõte märkimisväärselt muuta täiustatud AI-mudelite käitamise majanduslikku tasuvust.

Teeni ka ise Quasa.io-s arvustusi kirjutades QUA preemiat!

Alusta: https://quasa.io/projects/fractile