Subquadratic Diulas di Quasa: LLM Subkuadratik Pertama

#Quasa #QUA #subquadratic

Subquadratic adalah perusahaan riset dan infrastruktur AI terdepan yang mengembangkan kelas baru model bahasa besar. Model unggulannya, SubQ, adalah LLM pertama yang dibangun dengan arsitektur atensi jarang yang sepenuhnya subkuadratik. Berbeda dengan Transformer tradisional yang kebutuhan komputasinya meningkat secara kuadratik seiring panjang konteks ($O(n^2)$), kebutuhan komputasi SubQ meningkat secara linear ($O(n)$), sehingga penalaran dengan jutaan token menjadi praktis dan efisien.

SubQ dirancang khusus untuk tugas dengan konteks panjang. Model ini dapat memproses seluruh repositori kode, riwayat agen yang panjang, pull request selama berbulan-bulan, dan status persisten dalam satu prompt tanpa penurunan kualitas. Model ini saat ini mendukung jendela konteks hingga 12 juta token dan memberikan kinerja yang kuat pada tolok ukur pengambilan informasi dari konteks panjang maupun penalaran umum. Pada 1 juta token, SubQ membutuhkan komputasi yang jauh lebih sedikit (diklaim 64.5× lebih sedikit dibandingkan atensi padat) dan berjalan jauh lebih cepat daripada mekanisme atensi standar.

Perusahaan ini berfokus pada prinsip bahwa “efisiensi adalah kecerdasan.” Dengan mengatasi hambatan kuadratik pada tingkat arsitektur, Subquadratic bertujuan memungkinkan generasi baru agen AI yang benar-benar dapat bekerja dengan konteks dalam jumlah besar alih-alih mengandalkan pemecahan menjadi potongan, peringkasan, atau siasat pengambilan informasi.

Subquadratic ideal bagi pengembang, agen pemrograman, tim perusahaan, dan peneliti yang membutuhkan penalaran andal dengan konteks panjang — terutama untuk analisis seluruh basis kode, agen yang berjalan dalam waktu lama, dan tugas kompleks yang melibatkan banyak dokumen.

Keunggulan

• Arsitektur LLM pertama yang sepenuhnya subkuadratik (dengan peningkatan kebutuhan komputasi secara linear).
• Konteks jutaan token (hingga 12M token).
• Kemampuan pengambilan informasi yang kuat dari konteks panjang dengan efisiensi tinggi.
• Dirancang untuk seluruh repositori dan status agen yang persisten.
• API yang kompatibel dengan OpenAI dan integrasi agen pemrograman.

• Hal yang Perlu Dipertimbangkan

• Sebagai model riset terdepan, ekosistem yang lebih luas dan varian ukurannya masih terus berkembang.
• Paling sesuai untuk penggunaan dengan konteks panjang dibandingkan percakapan umum dengan prompt pendek.

Penilaian Keseluruhan: 4.7/5 bintang

Subquadratic sedang mengatasi salah satu keterbatasan terpenting LLM saat ini — biaya komputasi atensi yang bersifat kuadratik. Dengan menghadirkan penalaran praktis dengan jutaan token menggunakan komputasi yang jauh lebih sedikit, SubQ merupakan langkah maju yang berarti dalam arsitektur untuk agen dan aplikasi dengan konteks panjang.

Dapatkan juga imbalan QUA dengan memberikan ulasan di Quasa.io!

Mulai: https://quasa.io/projects/subquadratic