Fractile – recenzia na Quasa: Čipy novej generácie na inferenciu AI

#Quasa #QUA #fractile

Fractile je britská spoločnosť zameraná na pokročilé technológie, ktorá vyvíja špecializované procesory navrhnuté na radikálne zrýchlenie inferencie najpokročilejších modelov. Jej kľúčovou inováciou je fyzické prepojenie pamäte a výpočtových prvkov ich striedavým rozmiestnením na tom istom kremíkovom čipe — architektúra, ktorá prekonáva tradičné oddelenie pamäte a spracovania, ktoré v súčasnosti obmedzuje rýchlosť aj nákladovú efektívnosť inferencie veľkých jazykových modelov.

Vďaka komplexnému prístupu naprieč celým technologickým reťazcom (od návrhu na úrovni tranzistorov až po softvér na inferenciu v cloude) sa Fractile usiluje súčasne zabezpečiť nízku latenciu aj vysokú priepustnosť. Spoločnosť tvrdí, že jej procesory dokážu prevádzkovať najpokročilejšie modely až 25× rýchlejšie a za približne 1/10 nákladov existujúcich riešení, pričom efektívne poskytujú tisíce tokenov za sekundu tisícom súbežných používateľov.

Očakáva sa, že toto zvýšenie výkonu nielen optimalizuje súčasné nasadenia, ale otvorí aj nové možnosti: výrazne dlhšie kontextové okná a komplexné autonómne úlohy (ako výskum alebo rozsiahly vývoj softvéru), ktoré dnes vyžadujú dni ľudskej práce, by sa potenciálne mohli skrátiť na minúty.

Fractile získala $220 miliónov od investorov vrátane Accel, Factorial Funds a fondu Founders Fund Petra Thiela. Tím pôsobí v Bristole a Londýne a spája rozsiahle odborné znalosti v oblasti hardvéru, softvéru a systémov AI.

Fractile je ideálnou voľbou pre laboratóriá AI, poskytovateľov cloudových služieb a podniky, ktoré potrebujú výrazne rýchlejšiu a nákladovo efektívnejšiu inferenciu najpokročilejších modelov vo veľkom rozsahu.

Hlavné prednosti

• Inovatívna architektúra so striedavo rozmiestnenými pamäťovými a výpočtovými prvkami.
• Deklarovaná až 25× rýchlejšia inferencia pri ~1/10 nákladov.
• Návrh umožňujúci súčasne nízku latenciu a vysokú priepustnosť.
• Vývoj naprieč celým technologickým reťazcom od kremíka po softvér.
• Silné finančné zázemie a skúsený technický tím.

• Aspekty na zváženie

• Hardvér je stále vo vývoji (komerčné čipy sa očakávajú neskôr).
• Súčasné údaje o výkone vychádzajú z interných výsledkov a simulácií.
• Najvhodnejšie pre organizácie plánujúce rozsiahlu infraštruktúru na inferenciu.

Celkové hodnotenie: 4.6/5 hviezdičiek

Fractile rieši jednu z najzásadnejších prekážok modernej AI — vysoké náklady a obmedzenú rýchlosť inferencie najpokročilejších modelov. Prepracovaním vzťahu medzi pamäťou a výpočtovými prvkami na úrovni kremíka má spoločnosť potenciál výrazne zmeniť ekonomiku prevádzky pokročilých modelov AI.

Získajte aj vy odmenu v QUA napísaním recenzie na Quasa.io!

Začnite: https://quasa.io/projects/fractile