Subquadratic — recenzja na Quasa: pierwszy LLM o złożoności podkwadratowej

#Quasa #QUA #subquadratic

Subquadratic to firma prowadząca pionierskie badania nad AI i tworząca infrastrukturę, która opracowuje nową klasę dużych modeli językowych. Jej flagowy model, SubQ, jest pierwszym LLM opartym na architekturze rzadkiej uwagi o w pełni podkwadratowej złożoności. W przeciwieństwie do tradycyjnych Transformerów, które skalują się kwadratowo wraz z długością kontekstu ($O(n^2)$), SubQ skaluje się liniowo ($O(n)$), dzięki czemu rozumowanie na kontekście liczącym wiele milionów tokenów staje się praktyczne i wydajne.

SubQ zaprojektowano specjalnie do zadań wymagających długiego kontekstu. Potrafi przetwarzać całe repozytoria kodu, długie historie działań agentów, żądania scalenia z wielu miesięcy oraz trwale przechowywane stany w jednym prompcie bez pogorszenia jakości. Model obsługuje obecnie okna kontekstowe o długości do 12 milionów tokenów i osiąga bardzo dobre wyniki w testach porównawczych zarówno wyszukiwania informacji w długim kontekście, jak i ogólnego rozumowania. Przy 1 milionie tokenów SubQ wymaga znacznie mniej zasobów obliczeniowych (według deklaracji 64.5× mniej niż mechanizm gęstej uwagi) i działa znacznie szybciej niż standardowe mechanizmy uwagi.

Firma kieruje się zasadą, że “wydajność to inteligencja”. Rozwiązując problem kwadratowego wąskiego gardła na poziomie architektury, Subquadratic dąży do stworzenia nowej generacji agentów AI, którzy potrafią rzeczywiście pracować z dużą ilością kontekstu, zamiast polegać na dzieleniu go na fragmenty, podsumowywaniu lub doraźnych obejściach opartych na wyszukiwaniu informacji.

Subquadratic jest idealnym rozwiązaniem dla programistów, agentów programistycznych, zespołów w przedsiębiorstwach i badaczy, którzy potrzebują niezawodnego rozumowania w długim kontekście — zwłaszcza do analizy całej bazy kodu, obsługi długo działających agentów i złożonych zadań obejmujących wiele dokumentów.

Najważniejsze cechy

• Pierwsza architektura LLM o w pełni podkwadratowej złożoności (skalująca się liniowo).
• Kontekst obejmujący wiele milionów tokenów (do 12M tokenów).
• Skuteczne wyszukiwanie informacji w długim kontekście przy wysokiej wydajności.
• Zaprojektowany do pracy z całymi repozytoriami i trwale przechowywanym stanem agenta.
• API zgodne z OpenAI i integracje z agentami programistycznymi.

• Kwestie warte rozważenia

• Jako pionierski model badawczy wciąż rozwija swój szerszy ekosystem i ofertę wariantów o różnych rozmiarach.
• Najlepiej sprawdza się w zastosowaniach wymagających długiego kontekstu, a nie w ogólnych rozmowach z krótkimi promptami.

Ocena ogólna: 4.7/5 gwiazdek

Subquadratic mierzy się z jednym z najważniejszych ograniczeń obecnych modeli LLM — kwadratowym kosztem mechanizmu uwagi. Umożliwiając praktyczne rozumowanie na kontekście liczącym wiele milionów tokenów przy znacznie mniejszym zapotrzebowaniu na zasoby obliczeniowe, SubQ stanowi istotny krok naprzód w architekturze modeli dla agentów i aplikacji korzystających z długiego kontekstu.

Zdobądź nagrodę w QUA, również zamieszczając recenzję na Quasa.io!

Zacznij: https://quasa.io/projects/subquadratic