Subquadratic جو Quasa تي جائزو: پهريون ذيلي تربيعي LLM

#Quasa #QUA #subquadratic

Subquadratic، AI جي جديد ترين تحقيق ۽ بنيادي ڍانچي جي هڪ ڪمپني آهي، جيڪا وڏي پيماني جي ٻولي ماڊلن جو هڪ نئون قسم ٺاهي رهي آهي. ان جو مکيه ماڊل، SubQ، پهريون LLM آهي جيڪو مڪمل طور ذيلي تربيعي، ڇڊن ڌيان وارن لاڳاپن جي اڏاوت تي ٺهيل آهي. روايتي Transformers ۾ سياق جي ڊيگهه سان گڏ حسابي گهرج تربيعي نموني ($O(n^2)$) وڌندي آهي، جڏهن ته SubQ ۾ اها سڌي ليڪ جي تناسب سان ($O(n)$) وڌندي آهي، جنهن سان گهڻن ملين ٽوڪن تي استدلال عملي ۽ ڪارائتو بڻجي ٿو.

SubQ خاص طور ڊگهي سياق وارن ڪمن لاءِ ٺاهيو ويو آهي. اهو هڪ ئي پرامپٽ ۾ ڪوڊ جا سمورا ذخيرا، ايجنٽن جون ڊگهيون تاريخون، ڪيترن مهينن جون پل ريڪوئسٽون ۽ برقرار رهندڙ حالتون، معيار ۾ گهٽتائي کان سواءِ، پروسيس ڪري سگهي ٿو. ماڊل هن وقت 12 million tokens تائين جي سياقي گنجائش جي سهائتا ڪري ٿو ۽ ڊگهي سياق مان معلومات جي ڳولا ۽ عام استدلال، ٻنهي جي معياري آزمائشن ۾ مضبوط ڪارڪردگي ڏيکاري ٿو. 1 million tokens تي، SubQ کي تمام گهٽ حسابي وسيلن جي ضرورت پوي ٿي (دعويٰ موجب گهاٽي ڌيان جي ڀيٽ ۾ 64.5× گهٽ)، ۽ اهو ڌيان جي معياري طريقن کان گهڻو تيز هلي ٿو.

ڪمپني هن اصول تي ڌيان ڏئي ٿي ته “ڪارڪردگي ئي ذهانت آهي.” اڏاوت جي سطح تي تربيعي رڪاوٽ کي حل ڪري، Subquadratic جو مقصد AI ايجنٽن جي اهڙي نئين نسل کي ممڪن بڻائڻ آهي، جيڪو سياق کي ٽڪرن ۾ ورهائڻ، خلاصو ٺاهڻ يا معلومات ڳولڻ جي عارضي چالن تي ڀاڙڻ بدران، حقيقت ۾ وڏي مقدار جي سياق سان ڪم ڪري سگهي.

Subquadratic انهن ڊولپرن، ڪوڊنگ ايجنٽن، ڪاروباري ٽيمن ۽ محققن لاءِ مثالي آهي، جن کي ڊگهي سياق تي ڀروسي جوڳو استدلال گهرجي — خاص طور سموري ڪوڊ جي تجزيي، ڊگهي وقت تائين هلندڙ ايجنٽن ۽ گهڻن دستاويزن وارن پيچيده ڪمن لاءِ.

نمايان خاصيتون

• پهريون مڪمل ذيلي تربيعي (سڌي ليڪ جي تناسب سان وڌندڙ) LLM ڍانچو.
• گهڻن ملين ٽوڪن جو سياق (12M tokens تائين).
• ڊگهي سياق مان معلومات جي مضبوط ڳولا، اعليٰ ڪارڪردگي سان.
• ڪوڊ جي مڪمل ذخيرن لاءِ ٺهيل ۽ ايجنٽ جي برقرار رهندڙ حالت لاءِ.
• OpenAI سان مطابقت رکندڙ API ۽ ڪوڊنگ ايجنٽن سان ڳانڍاپا.

• غور ڪرڻ جهڙيون امڪاني ڳالهيون

• جديد ترين تحقيقي ماڊل طور، ان سان لاڳاپيل وسيع نظام ۽ مختلف ماپن وارا نسخا اڃا وڌي رهيا آهن.
• عام مختصر پرامپٽ واري ڳالهه ٻولهه جي ڀيٽ ۾ ڊگهي سياق وارن استعمالن لاءِ وڌيڪ موزون آهي.

مجموعي راءِ: 4.7/5 تارا

Subquadratic موجوده LLM ماڊلن جي سڀ کان اهم حدن مان هڪ کي حل ڪري رهيو آهي — ڌيان جي تربيعي حسابي لاڳت. تمام گهٽ حسابي وسيلن سان گهڻن ملين ٽوڪن تي عملي استدلال مهيا ڪري، SubQ ايجنٽن ۽ ڊگهي سياق وارين ايپليڪيشنن لاءِ اڏاوت جي لحاظ کان اڳتي وڌڻ جو هڪ اهم قدم آهي.

توهان به Quasa.io تي جائزو لکي QUA انعام حاصل ڪريو!

شروعات ڪريو: https://quasa.io/projects/subquadratic