Subquadratic İncelemesi (Quasa): İlk Kuadratik Altı LLM

#Quasa #QUA #subquadratic

Subquadratic, yeni bir büyük dil modeli sınıfı geliştiren, yapay zekâ araştırmaları ve altyapısı alanında en ileri düzeyde çalışmalar yürüten bir şirkettir. Şirketin amiral gemisi modeli SubQ, tamamen kuadratik altı bir seyrek dikkat mimarisi üzerine kurulu ilk LLM'dir. Bağlam uzunluğuyla kuadratik olarak ölçeklenen ($O(n^2)$) geleneksel Transformer modellerinin aksine SubQ, doğrusal olarak ölçeklenir ($O(n)$) ve böylece milyonlarca token üzerinde akıl yürütmeyi pratik ve verimli hâle getirir.

SubQ, özellikle uzun bağlamlı görevler için tasarlanmıştır. Kod depolarının tamamını, uzun ajan geçmişlerini, aylar boyunca oluşturulan çekme isteklerini ve kalıcı durumları tek bir istemde, kalite kaybı olmadan işleyebilir. Model şu anda 12 milyon token'a kadar bağlam pencerelerini desteklemekte ve hem uzun bağlamdan bilgi getirme hem de genel akıl yürütme kıyaslamalarında güçlü performans sunmaktadır. 1 milyon token düzeyinde SubQ, çok daha az hesaplama kaynağı gerektirir (yoğun dikkate kıyasla 64.5× daha az olduğu iddia edilmektedir) ve standart dikkat mekanizmalarından önemli ölçüde daha hızlı çalışır.

Şirket, “verimlilik zekâdır.” ilkesine odaklanmaktadır. Subquadratic, kuadratik darboğazı mimari düzeyde çözerek parçalara ayırma, özetleme veya bilgi getirmeye yönelik geçici çözümlere dayanmak yerine büyük miktarda bağlamla gerçekten çalışabilen yeni nesil yapay zekâ ajanlarını mümkün kılmayı amaçlamaktadır.

Subquadratic, uzun bağlam üzerinde güvenilir akıl yürütmeye ihtiyaç duyan geliştiriciler, kodlama ajanları, kurumsal ekipler ve araştırmacılar için — özellikle kod tabanının tamamının analizi, uzun süre çalışan ajanlar ve birden fazla belge içeren karmaşık görevler açısından — idealdir.

Öne Çıkanlar

• Tamamen kuadratik altı (doğrusal ölçeklenen) ilk LLM mimarisi.
• Milyonlarca token içeren bağlam (12M token'a kadar).
• Uzun bağlamdan güçlü bilgi getirme ve yüksek verimlilik.
• Kod depolarının tamamı ve kalıcı ajan durumu için tasarlanmıştır.
• OpenAI uyumlu API ve kodlama ajanı entegrasyonları.

• Dikkate Alınabilecek Noktalar

• En ileri düzeyde araştırmalara dayanan bir model olarak, daha geniş ekosistemi ve farklı boyutlardaki sürümleri hâlâ gelişmektedir.
• Genel amaçlı kısa istemli sohbetlerden ziyade uzun bağlamlı kullanım senaryolarına daha uygundur.

Genel Değerlendirme: 4.7/5 yıldız

Subquadratic, mevcut LLM'lerin en önemli sınırlamalarından birini — dikkat mekanizmasının kuadratik maliyetini — ele almaktadır. SubQ, çok daha az hesaplama kaynağıyla milyonlarca token üzerinde pratik akıl yürütme sunarak ajanlar ve uzun bağlamlı uygulamalar için mimari açıdan kayda değer bir ilerlemeyi temsil etmektedir.

Siz de Quasa.io'da inceleme yaparak QUA ödülü kazanın!

Başlayın: https://quasa.io/projects/subquadratic