Subquadratic در Quasa: بررسی نخستین مدل زبانی بزرگ با پیچیدگی زیرمربعی

#Quasa #QUA #subquadratic

Subquadratic یک شرکت پیشرو در پژوهش و زیرساخت هوش مصنوعی است که رده‌ای جدید از مدل‌های زبانی بزرگ را توسعه می‌دهد. مدل پرچم‌دار این شرکت، SubQ، نخستین مدل زبانی بزرگی است که بر پایهٔ معماری توجه تنک با پیچیدگی کاملاً زیرمربعی ساخته شده است. برخلاف Transformerهای سنتی که هزینهٔ پردازش آن‌ها با افزایش طول زمینه به‌صورت مربعی رشد می‌کند ($O(n^2)$)، این رشد در SubQ خطی است ($O(n)$) و استدلال با چندین میلیون توکن را عملی و کارآمد می‌کند.

SubQ به‌طور ویژه برای وظایف دارای زمینهٔ طولانی طراحی شده است. این مدل می‌تواند مخازن کامل کد، تاریخچه‌های طولانی عامل‌ها، درخواست‌های ادغام چندین ماه و وضعیت‌های پایدار را در یک پرامپت، بدون افت کیفیت، پردازش کند. این مدل در حال حاضر از پنجره‌های زمینه تا 12 میلیون توکن پشتیبانی می‌کند و هم در معیارهای بازیابی از زمینهٔ طولانی و هم در معیارهای استدلال عمومی عملکرد قدرتمندی دارد. در 1 میلیون توکن، SubQ به محاسبات بسیار کمتری نیاز دارد (بنا بر ادعا، 64.5× کمتر از توجه متراکم) و به‌طور چشمگیری سریع‌تر از سازوکارهای استاندارد توجه اجرا می‌شود.

این شرکت بر این اصل تمرکز دارد که “کارایی همان هوشمندی است.” Subquadratic با رفع گلوگاه مربعی در سطح معماری، قصد دارد نسل جدیدی از عامل‌های هوش مصنوعی را امکان‌پذیر کند که بتوانند واقعاً با حجم زیادی از زمینه کار کنند، به‌جای آنکه به قطعه‌بندی، خلاصه‌سازی یا ترفندهای بازیابی متکی باشند.

Subquadratic برای توسعه‌دهندگان، عامل‌های کدنویسی، تیم‌های سازمانی و پژوهشگرانی ایدئال است که به استدلال قابل‌اعتماد بر زمینهٔ طولانی نیاز دارند — به‌ویژه برای تحلیل کل پایگاه کد، عامل‌هایی که برای مدت طولانی اجرا می‌شوند و وظایف پیچیدهٔ چندسندی.

نکات برجسته

• نخستین معماری مدل زبانی بزرگ با پیچیدگی کاملاً زیرمربعی (با مقیاس‌پذیری خطی).
• زمینهٔ چندمیلیون‌توکنی (تا 12M توکن).
• بازیابی قدرتمند از زمینهٔ طولانی با کارایی بالا.
• طراحی‌شده برای مخازن کامل و وضعیت پایدار عامل.
• API سازگار با OpenAI و یکپارچه‌سازی با عامل‌های کدنویسی.

• ملاحظات احتمالی

• ازآنجاکه این مدل در مرز پژوهش قرار دارد، اکوسیستم گسترده‌تر و گونه‌های آن با اندازه‌های مختلف همچنان در حال گسترش هستند.
• بیشترین تناسب را با کاربردهای دارای زمینهٔ طولانی دارد، در مقایسه با گفت‌وگوی عمومی با پرامپت‌های کوتاه.

ارزیابی نهایی: 4.7/5 ستاره

Subquadratic در حال رفع یکی از مهم‌ترین محدودیت‌های مدل‌های زبانی بزرگ کنونی است — هزینهٔ مربعی توجه. SubQ با فراهم‌کردن امکان استدلال عملی با چندین میلیون توکن و با محاسبات بسیار کمتر، گامی معنادار در پیشرفت معماری برای عامل‌ها و کاربردهای دارای زمینهٔ طولانی به شمار می‌رود.

شما هم با نوشتن نقد و بررسی در Quasa.io پاداش QUA بگیرید!

شروع کنید: https://quasa.io/projects/subquadratic