Fractile: преглед в Quasa на чипове от следващо поколение за изпълнение на AI модели

#Quasa #QUA #fractile

Fractile е британска компания за дълбоки технологии, която разработва специализирани процесори, предназначени да ускорят радикално изпълнението на най-усъвършенстваните модели. Основната им иновация е физическото преплитане на паметта и изчислителните елементи върху един и същ силициев чип — архитектура, която преодолява традиционното разделение между паметта и обработката, ограничаващо понастоящем както скоростта, така и ценовата ефективност при изпълнението на големи езикови модели.

Като обхваща целия технологичен стек (от проектирането на ниво транзистори до облачния софтуер за изпълнение на модели), Fractile цели да осигури едновременно ниска латентност и висока пропускателна способност. Компанията твърди, че процесорите ѝ могат да изпълняват най-усъвършенстваните модели до 25× по-бързо и на приблизително 1/10 от цената на съществуващите решения, като същевременно ефективно предоставят хиляди токени в секунда на хиляди едновременни потребители.

Очаква се това подобрение на производителността не само да оптимизира текущите внедрявания, но и да открие нови възможности: значително по-дълги контекстни прозорци и сложни автономни задачи (като научни изследвания или мащабна разработка на софтуер), които днес изискват дни човешки труд, потенциално биха могли да бъдат сведени до минути.

Fractile е набрала $220 милиона от инвеститори, сред които Accel, Factorial Funds и Founders Fund на Питър Тийл. Екипът работи в Бристол и Лондон и съчетава задълбочен опит в хардуера, софтуера и AI системите.

Fractile е идеално решение за AI лаборатории, доставчици на облачни услуги и предприятия, които се нуждаят от драстично по-бързо и по-рентабилно изпълнение на най-усъвършенстваните модели в голям мащаб.

Основни предимства

• Иновативна архитектура с преплетени памет и изчислителни елементи.
• Заявено до 25× по-бързо изпълнение на модели на ~1/10 от цената.
• Проектирани да осигуряват едновременно ниска латентност и висока пропускателна способност.
• Разработка на целия технологичен стек от силициевите чипове до софтуера.
• Солидно финансиране и опитен технически екип.

• Възможни съображения

• Хардуерът все още е в процес на разработка (чиповете за търговска употреба се очакват по-късно).
• Текущите показатели за производителност се основават на вътрешни резултати и симулации.
• Най-подходящо за организации, които планират мащабна инфраструктура за изпълнение на модели.

Обща оценка: 4.6/5 звезди

Fractile работи по преодоляването на едно от най-сериозните ограничения в съвременния AI — високата цена и ограничената скорост при изпълнението на най-усъвършенстваните модели. Като променя връзката между паметта и изчислителните елементи на ниво силициев чип, компанията има потенциала да промени съществено икономическите параметри на изпълнението на усъвършенствани AI модели.

Спечелете и вие награда в QUA, като напишете отзив в Quasa.io!

Започнете: https://quasa.io/projects/fractile