Subquadratic-ի ակնարկը Quasa-ում. առաջին ենթաքառակուսային LLM-ը

#Quasa #QUA #subquadratic

Subquadratic-ը AI-ի առաջատար հետազոտությունների և ենթակառուցվածքի ընկերություն է, որը ստեղծում է մեծ լեզվային մոդելների նոր դաս։ Ընկերության առաջատար մոդելը՝ SubQ-ն, առաջին LLM-ն է, որը կառուցված է ամբողջությամբ ենթաքառակուսային նոսր ուշադրության ճարտարապետության վրա։ Ի տարբերություն ավանդական Transformer-ների, որոնց հաշվարկային ծախսերն աճում են համատեքստի երկարության քառակուսուն համեմատական ($O(n^2)$), SubQ-ի դեպքում դրանք աճում են գծային կերպով ($O(n)$)՝ գործնական և արդյունավետ դարձնելով բազմամիլիոն թոքեններով դատողությունը։

SubQ-ն նախատեսված է հատուկ երկար համատեքստով առաջադրանքների համար։ Այն կարող է մեկ հարցման մեջ մշակել կոդի ամբողջական պահոցներ, գործակալների երկար պատմություններ, ամիսների ընթացքում կուտակված pull request-ներ և պահպանվող վիճակներ՝ առանց որակի անկման։ Մոդելը ներկայումս աջակցում է մինչև 12 միլիոն թոքեն պարունակող համատեքստի պատուհաններ և բարձր արդյունքներ է ցույց տալիս ինչպես երկար համատեքստից տեղեկությունների որոնման, այնպես էլ ընդհանուր դատողության գնահատման թեստերում։ 1 միլիոն թոքենի դեպքում SubQ-ն պահանջում է կտրուկ ավելի քիչ հաշվարկային ռեսուրսներ (ըստ պնդման՝ 64.5× պակաս, քան խիտ ուշադրությունը) և աշխատում է զգալիորեն ավելի արագ, քան ուշադրության ստանդարտ մեխանիզմները։

Ընկերությունն առաջնորդվում է այն սկզբունքով, որ “արդյունավետությունը բանականություն է։” Ճարտարապետության մակարդակում լուծելով քառակուսային աճով պայմանավորված սահմանափակումը՝ Subquadratic-ը նպատակ ունի հնարավոր դարձնել AI գործակալների նոր սերունդ, որն իսկապես կկարողանա աշխատել մեծածավալ համատեքստի հետ՝ հատվածների բաժանման, ամփոփման կամ տեղեկությունների որոնման հնարքների վրա հենվելու փոխարեն։

Subquadratic-ը իդեալական է ծրագրավորողների, ծրագրավորման գործակալների, ձեռնարկությունների թիմերի և հետազոտողների համար, որոնց անհրաժեշտ է հուսալի դատողություն երկար համատեքստի հիման վրա — հատկապես ամբողջ կոդային բազայի վերլուծության, երկարատև աշխատող գործակալների և բազմաթիվ փաստաթղթեր ընդգրկող բարդ առաջադրանքների համար։

Հիմնական առանձնահատկությունները

• Առաջին ամբողջությամբ ենթաքառակուսային (գծային աճով) LLM ճարտարապետությունը։
• Բազմամիլիոն թոքեններով համատեքստ (մինչև 12M թոքեն)։
• Երկար համատեքստից տեղեկությունների որոնման բարձր կարողություն՝ բարձր արդյունավետությամբ։
• Նախատեսված է ամբողջական պահոցների և գործակալի պահպանվող վիճակի համար։
• OpenAI-ի հետ համատեղելի API և ծրագրավորման գործակալների հետ ինտեգրումներ։

• Հնարավոր նկատառումներ

• Որպես առաջատար հետազոտական մոդել՝ դրա ավելի լայն էկոհամակարգը և տարբեր չափերի տարբերակները դեռ ընդլայնվում են։
• Առավել հարմար է երկար համատեքստով կիրառությունների համար, քան կարճ հարցումներով ընդհանուր զրույցների։

Ընդհանուր գնահատականը՝ 4.7/5 աստղ

Subquadratic-ը լուծում է ներկայիս LLM-ների ամենակարևոր սահմանափակումներից մեկը — ուշադրության քառակուսային հաշվարկային ծախսը։ Ապահովելով գործնական դատողություն բազմամիլիոն թոքենների հիման վրա՝ շատ ավելի քիչ հաշվարկային ռեսուրսներով՝ SubQ-ն նշանակալի ճարտարապետական առաջընթաց է գործակալների և երկար համատեքստով հավելվածների համար։

Դուք էլ վաստակեք QUA պարգև՝ ակնարկ գրելով Quasa.io-ում։

Սկսեք այստեղից՝ https://quasa.io/projects/subquadratic