Fractile apžvalga Quasa platformoje: naujos kartos DI inferencijos lustai

#Quasa #QUA #fractile

Fractile yra Jungtinėje Karalystėje įsikūrusi pažangiųjų technologijų įmonė, kurianti specializuotus procesorius, skirtus iš esmės paspartinti pažangiausių modelių inferenciją. Pagrindinė jos inovacija – fizinis atminties ir skaičiavimo elementų išdėstymas pakaitomis tame pačiame silicio luste — tai architektūra, įveikianti tradicinį atminties ir duomenų apdorojimo atskyrimą, kuris šiuo metu riboja didžiųjų kalbos modelių inferencijos spartą ir didina jos sąnaudas.

Taikydama visus technologinius sluoksnius apimantį požiūrį (nuo tranzistorių lygmens projektavimo iki debesijos inferencijos programinės įrangos), Fractile siekia vienu metu užtikrinti ir mažą delsą, ir didelį pralaidumą. Įmonė teigia, kad jos procesoriai gali vykdyti pažangiausius modelius iki 25× sparčiau ir maždaug už 1/10 esamų sprendimų sąnaudų, kartu efektyviai pateikdami tūkstančius žetonų per sekundę tūkstančiams vienu metu prisijungusių naudotojų.

Tikimasi, kad šis našumo padidėjimas ne tik optimizuos dabartines diegimo aplinkas, bet ir atvers naujų galimybių: gerokai ilgesni konteksto langai ir sudėtingos autonominės užduotys (pavyzdžiui, moksliniai tyrimai ar didelio masto programinės įrangos kūrimas), kurioms šiandien reikia kelių dienų žmogaus darbo, galėtų būti įgyvendinamos per kelias minutes.

Fractile pritraukė $220 million iš investuotojų, tarp kurių yra Accel, Factorial Funds ir Peter Thiel priklausantis Founders Fund. Komanda dirba Bristolyje ir Londone bei sutelkia išsamias aparatinės įrangos, programinės įrangos ir DI sistemų žinias.

Fractile idealiai tinka DI laboratorijoms, debesijos paslaugų teikėjams ir įmonėms, kurioms reikia gerokai spartesnės ir ekonomiškesnės didelio masto pažangiausių modelių inferencijos.

Pagrindiniai privalumai

• Novatoriška architektūra, kurioje atminties ir skaičiavimo elementai išdėstyti pakaitomis.
• Teigiama, kad inferencija yra iki 25× spartesnė, o sąnaudos siekia ~1/10.
• Sukurta vienu metu užtikrinti mažą delsą ir didelį pralaidumą.
• Visus technologinius sluoksnius apimantis kūrimas – nuo silicio lustų iki programinės įrangos.
• Solidus finansavimas ir patyrusi techninė komanda.

• Į ką reikėtų atsižvelgti

• Aparatinė įranga dar kuriama (komercinių lustų tikimasi vėliau).
• Dabartiniai našumo rodikliai pagrįsti vidiniais rezultatais ir modeliavimu.
• Aktualiausia organizacijoms, planuojančioms didelio masto inferencijos infrastruktūrą.

Bendras įvertinimas: 4.6/5 žvaigždučių

Fractile sprendžia vieną svarbiausių šiuolaikinio DI kliūčių — dideles pažangiausių modelių inferencijos sąnaudas ir ribotą spartą. Iš naujo projektuodama atminties ir skaičiavimo sąveiką silicio lygmeniu, įmonė turi potencialo reikšmingai pakeisti pažangių DI modelių vykdymo ekonomiką.

Taip pat gaukite QUA atlygį už atsiliepimus Quasa.io!

Pradėkite: https://quasa.io/projects/fractile