Fractile: агляд на Quasa — чыпы новага пакалення для інферэнсу ШІ

#Quasa #QUA #fractile

Fractile — брытанская кампанія ў галіне глыбокіх тэхналогій, якая распрацоўвае спецыялізаваныя працэсары для радыкальнага паскарэння інферэнсу перадавых мадэляў. Іх ключавая інавацыя — фізічнае перапляценне памяці і вылічальных элементаў на адным крамянёвым крышталі — архітэктура, якая пераадольвае традыцыйны падзел паміж памяццю і апрацоўкай даных, што цяпер абмяжоўвае хуткасць інферэнсу вялікіх моўных мадэляў і павялічвае яго кошт.

Выкарыстоўваючы комплексны падыход да ўсіх узроўняў тэхналогіі (ад праектавання на ўзроўні транзістараў да праграмнага забеспячэння для воблачнага інферэнсу), Fractile імкнецца адначасова забяспечыць нізкую затрымку і высокую прапускную здольнасць. Кампанія сцвярджае, што яе працэсары могуць запускаць самыя перадавыя мадэлі да 25× хутчэй і прыблізна за 1/10th кошту існуючых рашэнняў, эфектыўна выдаючы тысячы токенаў за секунду тысячам адначасовых карыстальнікаў.

Чакаецца, што такое павышэнне прадукцыйнасці не толькі аптымізуе цяперашнія разгортванні, але і адкрые новыя магчымасці: значна даўжэйшыя кантэкстныя вокны і складаныя аўтаномныя задачы (напрыклад, даследаванні або маштабная распрацоўка праграмнага забеспячэння), якія сёння патрабуюць дзён чалавечай працы, патэнцыйна змогуць выконвацца за лічаныя хвіліны.

Fractile прыцягнула $220 мільёнаў ад інвестараў, сярод якіх Accel, Factorial Funds і Founders Fund Пітэра Ціля. Каманда працуе ў Брысталі і Лондане і аб'ядноўвае глыбокія веды ў галіне апаратнага забеспячэння, праграмнага забеспячэння і сістэм ШІ.

Fractile ідэальна падыходзіць для лабараторый ШІ, пастаўшчыкоў воблачных паслуг і прадпрыемстваў, якім патрэбны значна хутчэйшы і больш эканамічны інферэнс перадавых мадэляў у вялікіх маштабах.

Асноўныя перавагі

• Інавацыйная архітэктура з перапляценнем памяці і вылічальных элементаў.
• Заяўленае паскарэнне інферэнсу да 25× пры ~1/10th кошту.
• Распрацавана для адначасовага забеспячэння нізкай затрымкі і высокай прапускной здольнасці.
• Распрацоўка на ўсіх узроўнях ад крамянёвага крышталя да праграмнага забеспячэння.
• Значнае фінансаванне і дасведчаная тэхнічная каманда.

• Магчымыя аспекты, якія варта ўлічыць

• Апаратнае забеспячэнне яшчэ распрацоўваецца (камерцыйныя чыпы чакаюцца пазней).
• Цяперашнія паказчыкі прадукцыйнасці грунтуюцца на ўнутраных выніках і мадэляванні.
• Найбольш актуальна для арганізацый, якія плануюць маштабную інфраструктуру інферэнсу.

Агульная ацэнка: 4.6/5 зорак

Fractile вырашае адну з найбольш крытычных праблем сучаснага ШІ — высокі кошт і абмежаваную хуткасць інферэнсу перадавых мадэляў. Пераасэнсоўваючы ўзаемадзеянне памяці і вылічальных элементаў на ўзроўні крамянёвага крышталя, кампанія мае патэнцыял істотна змяніць эканоміку запуску перадавых мадэляў ШІ.

Атрымлівайце ўзнагароду ў QUA, таксама пакідаючы агляды на Quasa.io!

Пачніце: https://quasa.io/projects/fractile