Subquadratic haqqında Quasa-da icmal: İlk subkvadratik LLM

#Quasa #QUA #subquadratic

Subquadratic böyük dil modellərinin yeni sinfini yaradan, süni intellekt sahəsində qabaqcıl tədqiqat və infrastruktur şirkətidir. Şirkətin əsas modeli olan SubQ tam subkvadratik seyrək diqqət arxitekturası əsasında qurulmuş ilk LLM-dir. Kontekst uzunluğu artdıqca hesablama tələbatı kvadratik şəkildə ($O(n^2)$) artan ənənəvi Transformers modellərindən fərqli olaraq, SubQ-da bu artım xəttidir ($O(n)$). Bu da çoxmilyonlu tokenlər üzərində məntiqi nəticə çıxarmağı praktik və səmərəli edir.

SubQ xüsusi olaraq uzun kontekstli tapşırıqlar üçün hazırlanıb. O, keyfiyyət itkisi olmadan bütöv kod repozitoriyalarını, agentlərin uzun fəaliyyət tarixçələrini, aylarla toplanmış pull sorğularını və davamlı saxlanılan vəziyyətləri tək bir sorğuda emal edə bilir. Model hazırda 12 milyon tokenədək kontekst pəncərələrini dəstəkləyir və həm uzun kontekstdən məlumatın tapılıb çıxarılması, həm də ümumi məntiqi nəticə çıxarma üzrə müqayisəli sınaqlarda yüksək nəticələr göstərir. 1 milyon token üçün SubQ xeyli az hesablama resursu tələb edir (sıx diqqətlə müqayisədə 64.5× az olduğu iddia edilir) və standart diqqət mexanizmlərindən əhəmiyyətli dərəcədə sürətli işləyir.

Şirkət “səmərəlilik zəkadır” prinsipinə əsaslanır. Subquadratic kvadratik məhdudiyyəti arxitektura səviyyəsində aradan qaldırmaqla, hissələrə bölməyə, xülasələşdirməyə və ya məlumatın tapılıb çıxarılması üçün dolayı üsullara arxalanmaq əvəzinə, böyük həcmdə kontekstlə həqiqətən işləyə bilən yeni nəsil süni intellekt agentlərinin yaradılmasına imkan verməyi hədəfləyir.

Subquadratic uzun kontekst əsasında etibarlı məntiqi nəticə çıxarmağa ehtiyacı olan proqramçılar, kodlaşdırma agentləri, müəssisə komandaları və tədqiqatçılar üçün, xüsusilə bütün kod bazasının təhlili, uzun müddət işləyən agentlər və çoxsaylı sənədlərlə bağlı mürəkkəb tapşırıqlar üçün idealdır.

Əsas xüsusiyyətlər

• İlk tam subkvadratik (xətti miqyaslanan) LLM arxitekturası.
• Çoxmilyonlu token konteksti (12M tokenədək).
• Uzun kontekstdən məlumatın yüksək səviyyədə tapılıb çıxarılması və yüksək səmərəlilik.
• Bütöv repozitoriyalar və agentin davamlı saxlanılan vəziyyəti üçün hazırlanıb.
• OpenAI ilə uyğun API və kodlaşdırma agentləri ilə inteqrasiyalar.

• Nəzərə alınmalı mümkün məqamlar

• Qabaqcıl tədqiqat modeli olduğundan, onun daha geniş ekosistemi və müxtəlif ölçülü variantları hələ də inkişaf etdirilir.
• Qısa sorğularla ümumi söhbətdən daha çox uzun kontekstli istifadə hallarına uyğundur.

Ümumi qiymətləndirmə: 4.7/5 ulduz

Subquadratic mövcud LLM-lərin ən mühüm məhdudiyyətlərindən birini — diqqət mexanizminin kvadratik hesablama xərcini aradan qaldırmağa çalışır. SubQ xeyli az hesablama resursu ilə çoxmilyonlu tokenlər üzərində praktik məntiqi nəticə çıxarma imkanı təqdim edərək, agentlər və uzun kontekstli tətbiqlər üçün arxitektura baxımından əhəmiyyətli irəliləyiş nümayiş etdirir.

Siz də Quasa.io-da rəy yazaraq QUA mükafatı qazanın!

Başlayın: https://quasa.io/projects/subquadratic