Fractile — рецензија на Quasa: чипови од следната генерација за инференција со AI

#Quasa #QUA #fractile

Fractile е компанија за длабока технологија со седиште во Обединетото Кралство, која развива специјализирани процесори осмислени драстично да ја забрзаат инференцијата со најнапредните модели. Нивната клучна иновација е физичкото испреплетување на меморијата и пресметувањето на истиот силициум — архитектура што ја надминува традиционалната одвоеност меѓу меморијата и обработката, која во моментов ги ограничува и брзината и трошочната ефикасност на инференцијата со големи јазични модели.

Со пристап што ги опфаќа сите технолошки слоеви (од дизајн на ниво на транзистори до софтвер за инференција во облак), Fractile се стреми истовремено да обезбеди и мала латентност и висока пропусност. Компанијата тврди дека нејзините процесори можат да ги извршуваат најнапредните модели до 25× побрзо и со приближно 1/10 од трошоците на постојните решенија, притоа ефикасно испорачувајќи илјадници токени во секунда на илјадници истовремени корисници.

Се очекува ова подобрување на перформансите не само да ги оптимизира тековните имплементации, туку и да отвори нови можности: значително подолги контекстни прозорци и сложени автономни задачи (како истражување или развој на софтвер од голем обем), за кои денес се потребни денови човечки труд, потенцијално би можеле да се сведат на минути.

Fractile има прибрано $220 милиони од инвеститори, меѓу кои се Accel, Factorial Funds и Founders Fund на Питер Тил. Тимот работи во Бристол и Лондон и обединува длабока стручност во хардвер, софтвер и системи за AI.

Fractile е идеален за лаборатории за AI, даватели на услуги во облак и претпријатија на кои им е потребна драстично побрза и трошочно поефикасна инференција со најнапредните модели во голем обем.

Главни предности

• Иновативна архитектура со испреплетени меморија и пресметување.
• Според тврдењата, до 25× побрза инференција со ~1/10 од трошоците.
• Осмислен за истовремено постигнување мала латентност и висока пропусност.
• Развој на сите технолошки слоеви од силициум до софтвер.
• Значително финансирање и искусен технички тим.

• Можни аспекти за разгледување

• Хардверот сѐ уште е во развој (комерцијалните чипови се очекуваат подоцна).
• Тековните податоци за перформансите се засноваат на внатрешни резултати и симулации.
• Најрелевантен за организации што планираат инфраструктура за инференција од голем обем.

Општа оценка: 4.6/5 ѕвезди

Fractile се справува со едно од најкритичните тесни грла во современата AI — високите трошоци и ограничената брзина на инференцијата со најнапредните модели. Со редизајнирање на односот меѓу меморијата и пресметувањето на ниво на силициум, компанијата има потенцијал значително да ја промени економиката на извршувањето напредни модели на AI.

И вие заработете награда во QUA со објавување рецензија на Quasa.io!

Започнете: https://quasa.io/projects/fractile