Subquadratic — ревю в Quasa: първият субквадратичен LLM

#Quasa #QUA #subquadratic

Subquadratic е компания за авангардни изследвания и инфраструктура в областта на изкуствения интелект, която разработва нов клас големи езикови модели. Нейният водещ модел, SubQ, е първият LLM, изграден върху изцяло субквадратична архитектура с разредено внимание. За разлика от традиционните трансформъри, при които изчислителната сложност нараства квадратично с дължината на контекста ($O(n^2)$), при SubQ тя нараства линейно ($O(n)$), което прави разсъжденията върху контекст от милиони токени практични и ефективни.

SubQ е проектиран специално за задачи с дълъг контекст. Той може да обработва цели хранилища с код, дълги истории на агенти, заявки за сливане от месеци и трайно съхранявани състояния в една подкана без влошаване на качеството. Понастоящем моделът поддържа контекстни прозорци до 12 милиона токена и постига силни резултати както в тестовете за извличане на информация от дълъг контекст, така и в тези за общи способности за разсъждение. При 1 милион токена SubQ изисква драстично по-малко изчислителни ресурси (според твърденията — 64.5× по-малко в сравнение с плътното внимание) и работи значително по-бързо от стандартните механизми за внимание.

Компанията се ръководи от принципа, че “ефективността е интелигентност.” Като преодолява квадратичното ограничение на ниво архитектура, Subquadratic цели да направи възможно ново поколение агенти с изкуствен интелект, които могат действително да работят с голям обем контекст, вместо да разчитат на разделяне на части, обобщаване или заобиколни решения за извличане на информация.

Subquadratic е идеален за разработчици, агенти за програмиране, корпоративни екипи и изследователи, които се нуждаят от надеждни разсъждения върху дълъг контекст — особено за анализ на цялата кодова база, продължително работещи агенти и сложни задачи с множество документи.

Основни предимства

• Първата изцяло субквадратична LLM архитектура (с линейно нарастване на изчислителната сложност).
• Контекст от милиони токени (до 12M токена).
• Отлично извличане на информация от дълъг контекст с висока ефективност.
• Проектиран за цели хранилища и трайно съхраняване на състоянието на агентите.
• API, съвместим с OpenAI, и интеграции с агенти за програмиране.

• Възможни съображения

• Като авангарден изследователски модел, неговата по-широка екосистема и вариантите му с различни размери все още се разрастват.
• Най-подходящ е за приложения с дълъг контекст, а не за общ чат с кратки подкани.

Обща оценка: 4.7/5 звезди

Subquadratic се заема с едно от най-важните ограничения на съвременните големи езикови модели — квадратичната изчислителна цена на вниманието. Като осигурява практически приложими разсъждения върху контекст от милиони токени със значително по-малко изчислителни ресурси, SubQ представлява съществена крачка напред в архитектурата за агенти и приложения с дълъг контекст.

Спечелете награда в QUA, като и вие публикувате ревю в Quasa.io!

Започнете: https://quasa.io/projects/subquadratic