Subquadratic-ის მიმოხილვა Quasa-ზე: პირველი სუბკვადრატული LLM

#Quasa #QUA #subquadratic

Subquadratic არის ხელოვნური ინტელექტის მოწინავე კვლევებისა და ინფრასტრუქტურის კომპანია, რომელიც დიდი ენობრივი მოდელების ახალ კლასს ქმნის. მისი ფლაგმანური მოდელი, SubQ, პირველი LLM-ია, რომელიც სრულად სუბკვადრატულ, მეჩხერი ყურადღების არქიტექტურაზეა აგებული. ტრადიციული Transformers-ისგან განსხვავებით, რომელთა გამოთვლითი დანახარჯი კონტექსტის სიგრძესთან ერთად კვადრატულად იზრდება ($O(n^2)$), SubQ-ის შემთხვევაში ეს ზრდა წრფივია ($O(n)$), რაც მრავალმილიონიან ტოკენურ კონტექსტზე მსჯელობას პრაქტიკულსა და ეფექტიანს ხდის.

SubQ სპეციალურად გრძელი კონტექსტის ამოცანებისთვისაა შექმნილი. მას შეუძლია ერთ მოთხოვნაში დაამუშაოს კოდის მთელი რეპოზიტორიები, აგენტების ვრცელი ისტორიები, თვეების განმავლობაში დაგროვილი კოდის შერწყმის მოთხოვნები და მუდმივად შენარჩუნებული მდგომარეობები, ხარისხის გაუარესების გარეშე. მოდელი ამჟამად მხარს უჭერს 12 მილიონ ტოკენამდე კონტექსტურ ფანჯრებს და მაღალ შედეგებს აჩვენებს როგორც გრძელ კონტექსტში ინფორმაციის მოძიების, ისე ზოგადი მსჯელობის შესაფასებელ ტესტებში. 1 მილიონი ტოკენის შემთხვევაში SubQ-ს მკვეთრად ნაკლები გამოთვლითი რესურსი სჭირდება (განცხადების თანახმად, მკვრივ ყურადღებასთან შედარებით 64.5× ნაკლები) და ყურადღების სტანდარტულ მექანიზმებზე მნიშვნელოვნად სწრაფად მუშაობს.

კომპანია ეყრდნობა პრინციპს, რომ “ეფექტიანობა ინტელექტია.” არქიტექტურის დონეზე კვადრატული შეზღუდვის გადაჭრით, Subquadratic მიზნად ისახავს ახალი თაობის ხელოვნური ინტელექტის აგენტების შექმნის შესაძლებლობას, რომლებსაც ნამდვილად შეეძლებათ დიდი მოცულობის კონტექსტთან მუშაობა, ფრაგმენტებად დაყოფაზე, შეჯამებასა თუ ინფორმაციის მოძიების შემოვლით ხერხებზე დაყრდნობის ნაცვლად.

Subquadratic იდეალურია დეველოპერებისთვის, პროგრამირების აგენტებისთვის, კორპორაციული გუნდებისა და მკვლევრებისთვის, რომლებსაც გრძელ კონტექსტზე საიმედო მსჯელობა სჭირდებათ — განსაკუთრებით კოდის სრული ბაზის ანალიზისთვის, ხანგრძლივად მომუშავე აგენტებისა და მრავალ დოკუმენტთან დაკავშირებული რთული ამოცანებისთვის.

ძირითადი მახასიათებლები

• პირველი სრულად სუბკვადრატული (წრფივად მასშტაბირებადი) LLM არქიტექტურა.
• მრავალმილიონიანი ტოკენური კონტექსტი (12M ტოკენამდე).
• გრძელ კონტექსტში ინფორმაციის მოძიების ძლიერი შესაძლებლობები მაღალი ეფექტიანობით.
• შექმნილია სრულ რეპოზიტორიებთან სამუშაოდ და აგენტის მდგომარეობის მუდმივად შესანარჩუნებლად.
• OpenAI-სთან თავსებადი API და პროგრამირების აგენტებთან ინტეგრაციები.

• გასათვალისწინებელი საკითხები

• რადგან ეს მოწინავე კვლევითი მოდელია, მისი ფართო ეკოსისტემა და სხვადასხვა ზომის ვარიანტების არჩევანი ჯერ კიდევ ფართოვდება.
• ყველაზე მეტად შეეფერება გრძელი კონტექსტის გამოყენების შემთხვევებს, ვიდრე ზოგად ჩატს მოკლე მოთხოვნებით.

საერთო შეფასება: 4.7/5 ვარსკვლავი

Subquadratic მუშაობს თანამედროვე LLM-ების ერთ-ერთი უმნიშვნელოვანესი შეზღუდვის — ყურადღების კვადრატული გამოთვლითი დანახარჯის — გადაჭრაზე. მნიშვნელოვნად ნაკლები გამოთვლითი რესურსით მრავალმილიონიან ტოკენურ კონტექსტზე პრაქტიკული მსჯელობის უზრუნველყოფით, SubQ მნიშვნელოვანი არქიტექტურული წინგადადგმული ნაბიჯია აგენტებისა და გრძელი კონტექსტის მქონე აპლიკაციებისთვის.

თქვენც მიიღეთ QUA ჯილდო Quasa.io-ზე მიმოხილვის გამოქვეყნებით!

დაიწყეთ: https://quasa.io/projects/subquadratic