Subquadratic-ийн Quasa дээрх тойм: Квадрат зэргээс бага өсөлттэй анхны LLM

#Quasa #QUA #subquadratic

Subquadratic нь том хэлний загварын шинэ ангиллыг бүтээж буй, AI-ийн тэргүүн эгнээний судалгаа, дэд бүтцийн компани юм. Тус компанийн гол загвар болох SubQ нь бүхэлдээ квадрат зэргээс бага өсөлттэй сийрэг анхаарлын архитектурт суурилан бүтээгдсэн анхны LLM юм. Контекстийн урт нэмэгдэхэд тооцооллын хэмжээ нь квадрат зэргээр ($O(n^2)$) өсдөг уламжлалт Transformers-оос ялгаатай нь SubQ-ийн тооцооллын хэмжээ шугаман ($O(n)$) өсдөг тул олон сая токен дээр эргэцүүлэн дүгнэхийг практикт хэрэгжихүйц, үр ашигтай болгодог.

SubQ нь урт контексттэй даалгаварт тусгайлан зориулагдсан. Энэ нь кодын бүхэл бүтэн сан, агентын үйл ажиллагааны урт түүх, олон сарын турш хуримтлагдсан өөрчлөлт нэгтгэх хүсэлтүүд болон хадгалагдан үргэлжлэх төлөвүүдийг чанар алдагдуулахгүйгээр нэг промптод боловсруулж чадна. Одоогоор уг загвар нь 12 сая хүртэлх токены контекстийн цонхыг дэмждэг бөгөөд урт контекстээс мэдээлэл хайж олох болон ерөнхий эргэцүүлэн дүгнэх чадварын жишиг сорилуудад хоёуланд нь өндөр үзүүлэлттэй. 1 сая токентой үед SubQ нь эрс бага тооцоолол шаарддаг (нягт анхаарлын механизмтай харьцуулахад 64.5× бага гэж мэдэгдсэн) бөгөөд стандарт анхаарлын механизмуудаас мэдэгдэхүйц хурдан ажилладаг.

Тус компани “үр ашиг бол оюун ухаан” гэсэн зарчмыг баримталдаг. Subquadratic нь квадрат өсөлтөөс үүдэлтэй хязгаарлалтыг архитектурын түвшинд шийдвэрлэснээр контекстийг хэсэгчлэх, хураангуйлах эсвэл мэдээлэл хайж олох тойруу аргуудад найдахын оронд их хэмжээний контексттэй үнэхээр ажиллаж чадах шинэ үеийн AI агентуудыг бий болгохыг зорьдог.

Subquadratic нь урт контекст дээр найдвартай эргэцүүлэн дүгнэх шаардлагатай хөгжүүлэгчид, код бичих агентууд, байгууллагын багууд болон судлаачдад нэн тохиромжтой — ялангуяа кодын суурийг бүхэлд нь шинжлэх, удаан хугацаанд ажиллах агентууд болон олон баримт бичиг хамарсан нарийн төвөгтэй даалгаварт тохирно.

Онцлох давуу талууд

• Бүхэлдээ квадрат зэргээс бага өсөлттэй (шугаман өсөлттэй) анхны LLM архитектур.
• Олон сая токены контекст (12M хүртэлх токен).
• Урт контекстээс мэдээлэл хайж олох өндөр чадвар, өндөр үр ашиг.
• Кодын санг бүхэлд нь боловсруулах болон агентын төлөвийг хадгалан үргэлжлүүлэхэд зориулагдсан.
• OpenAI-тэй нийцтэй API болон код бичих агентуудтай холбогдон ажиллах боломжууд.

• Анхаарч үзэх зүйлс

• Тэргүүн эгнээний судалгааны загвар учраас түүнийг хүрээлсэн экосистем болон хэмжээний хувилбарууд нь одоо ч өргөжин хөгжиж байна.
• Ерөнхий зориулалтын богино промпттой чатаас илүүтэй урт контекст шаардсан хэрэглээнд хамгийн тохиромжтой.

Ерөнхий үнэлгээ: 4.7/5 од

Subquadratic нь өнөөгийн LLM-үүдийн хамгийн чухал хязгаарлалтуудын нэг болох анхаарлын механизмын квадрат зэргээр өсдөг тооцооллын зардлыг шийдвэрлэхээр ажиллаж байна. SubQ нь хавьгүй бага тооцооллоор олон сая токен дээр практикт ашиглахуйц эргэцүүлэн дүгнэх боломж олгосноор агентууд болон урт контекст ашигладаг хэрэглээний программуудын архитектурын хөгжилд чухал ахиц авчирч байна.

Та ч бас Quasa.io дээр тойм бичиж QUA урамшуулал аваарай!

Эхлэх: https://quasa.io/projects/subquadratic