Subquadratic की Quasa पर समीक्षा: पहला उप-द्विघाती LLM

#Quasa #QUA #subquadratic

Subquadratic अत्याधुनिक AI अनुसंधान और बुनियादी ढाँचे की कंपनी है, जो बड़े भाषा मॉडलों की एक नई श्रेणी विकसित कर रही है। इसका प्रमुख मॉडल, SubQ, पूरी तरह से उप-द्विघाती विरल-अटेंशन आर्किटेक्चर पर बना पहला LLM है। पारंपरिक Transformers में संदर्भ की लंबाई के साथ गणना की ज़रूरत द्विघाती रूप से ($O(n^2)$) बढ़ती है, जबकि SubQ में यह रैखिक रूप से ($O(n)$) बढ़ती है, जिससे कई मिलियन टोकन पर तर्क करना व्यावहारिक और कुशल बनता है।

SubQ को खास तौर पर लंबे संदर्भ वाले कार्यों के लिए डिज़ाइन किया गया है। यह गुणवत्ता में गिरावट के बिना एक ही प्रॉम्प्ट में पूरे कोड रिपॉज़िटरी, एजेंटों के लंबे इतिहास, कई महीनों के पुल रिक्वेस्ट और स्थायी अवस्थाओं को प्रोसेस कर सकता है। मॉडल फ़िलहाल 12 million tokens तक की संदर्भ विंडो का समर्थन करता है और लंबे संदर्भ से जानकारी खोजने तथा सामान्य तर्क, दोनों के बेंचमार्क पर दमदार प्रदर्शन करता है। 1 million tokens पर, SubQ को बहुत कम गणना की ज़रूरत होती है (दावे के अनुसार सघन अटेंशन से 64.5× कम) और यह मानक अटेंशन तंत्रों की तुलना में काफ़ी तेज़ चलता है।

कंपनी इस सिद्धांत पर ध्यान केंद्रित करती है कि “दक्षता ही बुद्धिमत्ता है।” आर्किटेक्चर के स्तर पर द्विघाती बाधा को दूर करके, Subquadratic का लक्ष्य AI एजेंटों की एक नई पीढ़ी को सक्षम बनाना है, जो संदर्भ को टुकड़ों में बाँटने, उसका सार बनाने या जानकारी खोजने की जुगाड़ तकनीकों पर निर्भर रहने के बजाय वास्तव में बड़ी मात्रा में संदर्भ के साथ काम कर सके।

Subquadratic उन डेवलपरों, कोडिंग एजेंटों, एंटरप्राइज़ टीमों और शोधकर्ताओं के लिए आदर्श है, जिन्हें लंबे संदर्भ पर भरोसेमंद तर्क क्षमता चाहिए — खास तौर पर पूरे कोडबेस के विश्लेषण, लंबे समय तक चलने वाले एजेंटों और कई दस्तावेज़ों से जुड़े जटिल कार्यों के लिए।

मुख्य विशेषताएँ

• पहला पूरी तरह से उप-द्विघाती (रैखिक रूप से बढ़ने वाला) LLM आर्किटेक्चर।
• कई मिलियन टोकन का संदर्भ (12M tokens तक)।
• लंबे संदर्भ से जानकारी खोजने की दमदार क्षमता, उच्च दक्षता के साथ।
• पूरे रिपॉज़िटरी और एजेंट की स्थायी अवस्था के लिए डिज़ाइन किया गया।
• OpenAI के साथ संगत API और कोडिंग एजेंट एकीकरण।

• ध्यान देने योग्य संभावित बातें

• अत्याधुनिक शोध मॉडल होने के कारण, इसका व्यापक इकोसिस्टम और अलग-अलग आकार के संस्करण अभी विस्तार के दौर में हैं।
• सामान्य छोटे प्रॉम्प्ट वाली चैट की तुलना में लंबे संदर्भ वाले उपयोगों के लिए ज़्यादा उपयुक्त है।

समग्र निष्कर्ष: 4.7/5 स्टार

Subquadratic मौजूदा LLMs की सबसे महत्वपूर्ण सीमाओं में से एक — अटेंशन की द्विघाती लागत — को दूर करने पर काम कर रहा है। बहुत कम गणना में कई मिलियन टोकन पर व्यावहारिक तर्क क्षमता देकर, SubQ एजेंटों और लंबे संदर्भ वाले अनुप्रयोगों के लिए आर्किटेक्चर के स्तर पर एक महत्वपूर्ण प्रगति दर्शाता है।

आप भी Quasa.io पर समीक्षा करके QUA पुरस्कार पाएँ!

शुरू करें: https://quasa.io/projects/subquadratic