Subquadratic সম্পৰ্কে Quasaত পৰ্যালোচনা: প্ৰথম উপ-দ্বিঘাত LLM

#Quasa #QUA #subquadratic

Subquadratic হৈছে বৃহৎ ভাষা মডেলৰ এক নতুন শ্ৰেণী নিৰ্মাণ কৰা এটা অগ্ৰণী AI গৱেষণা আৰু আন্তঃগাঁথনি কোম্পানী। ইয়াৰ প্ৰধান মডেল SubQ হৈছে সম্পূৰ্ণ উপ-দ্বিঘাত বিৰল-মনোযোগ স্থাপত্যৰ ওপৰত নিৰ্মিত প্ৰথম LLM। প্ৰসংগৰ দৈৰ্ঘ্যৰ সৈতে দ্বিঘাত হাৰত বৃদ্ধি পোৱা ($O(n^2)$) পৰম্পৰাগত Transformersৰ বিপৰীতে, SubQ ৰৈখিক হাৰত বৃদ্ধি পায় ($O(n)$), যাৰ ফলত বহু মিলিয়ন টোকেন সামৰি যুক্তি বিশ্লেষণ কৰাটো ব্যৱহাৰিক আৰু দক্ষ হৈ পৰে।

SubQ বিশেষভাৱে দীঘল প্ৰসংগৰ কামৰ বাবে নিৰ্মাণ কৰা হৈছে। ই গুণগত মানৰ অৱনতি নোহোৱাকৈ এটা প্ৰম্পটতে সম্পূৰ্ণ ক'ড ভঁৰাল, এজেণ্টৰ দীঘল কাৰ্যকলাপৰ ইতিহাস, কেইবামাহৰ পুল ৰিকুৱেষ্ট আৰু স্থায়ী অৱস্থা প্ৰক্ৰিয়াকৰণ কৰিব পাৰে। মডেলটোৱে বৰ্তমান 12 million tokens পৰ্যন্ত প্ৰসংগ উইণ্ড' সমৰ্থন কৰে আৰু দীঘল প্ৰসংগৰ পৰা তথ্য উদ্ধাৰ তথা সাধাৰণ যুক্তি বিশ্লেষণৰ বেঞ্চমাৰ্ক দুয়োটাতে শক্তিশালী প্ৰদৰ্শন আগবঢ়ায়। 1 million tokensৰ ক্ষেত্ৰত, SubQৰ গণনাৰ প্ৰয়োজন নাটকীয়ভাৱে কম হয় (ঘন মনোযোগতকৈ 64.5× কম বুলি দাবী কৰা হৈছে) আৰু ই মানক মনোযোগ ব্যৱস্থাতকৈ যথেষ্ট বেগেৰে চলে।

কোম্পানীটোৱে “দক্ষতাই বুদ্ধিমত্তা” নীতিৰ ওপৰত গুৰুত্ব দিয়ে। স্থাপত্যৰ স্তৰতে দ্বিঘাত সীমাবদ্ধতা সমাধান কৰি, Subquadraticএ এনে এক নতুন প্ৰজন্মৰ AI এজেণ্ট সম্ভৱ কৰি তুলিব বিচাৰে, যিয়ে প্ৰসংগক খণ্ডত বিভক্ত কৰা, সাৰাংশ কৰা বা তথ্য উদ্ধাৰৰ কৌশলৰ ওপৰত নিৰ্ভৰ কৰাৰ পৰিৱৰ্তে প্ৰকৃত অৰ্থত বৃহৎ পৰিমাণৰ প্ৰসংগ লৈ কাম কৰিব পাৰে।

নিৰ্ভৰযোগ্য দীঘল প্ৰসংগৰ যুক্তি বিশ্লেষণৰ প্ৰয়োজন হোৱা ডেভেলপাৰ, ক'ডিং এজেণ্ট, উদ্যোগৰ দল আৰু গৱেষকৰ বাবে Subquadratic আদৰ্শ — বিশেষকৈ সম্পূৰ্ণ ক'ডভিত্তিৰ বিশ্লেষণ, দীৰ্ঘসময় ধৰি চলা এজেণ্ট আৰু একাধিক নথি সামৰি লোৱা জটিল কামৰ বাবে।

উল্লেখযোগ্য দিশসমূহ

• প্ৰথম সম্পূৰ্ণ উপ-দ্বিঘাত (ৰৈখিক হাৰত বৃদ্ধি পোৱা) LLM স্থাপত্য।
• বহু মিলিয়ন টোকেনৰ প্ৰসংগ (12M tokens পৰ্যন্ত)।
• দীঘল প্ৰসংগৰ পৰা শক্তিশালী তথ্য উদ্ধাৰ, উচ্চ দক্ষতাৰে।
• সম্পূৰ্ণ ভঁৰালৰ বাবে নিৰ্মিত আৰু এজেণ্টৰ স্থায়ী অৱস্থাৰ বাবে।
• OpenAIৰ সৈতে সামঞ্জস্যপূৰ্ণ API আৰু ক'ডিং এজেণ্টৰ সৈতে সংযোগ।

• বিবেচনা কৰিবলগীয়া সম্ভাব্য দিশসমূহ

• এটা অগ্ৰণী গৱেষণা মডেল হিচাপে, ইয়াৰ বহল পৰিৱেশতন্ত্ৰ আৰু বিভিন্ন আকাৰৰ সংস্কৰণসমূহৰ সম্প্ৰসাৰণ এতিয়াও চলি আছে।
• সাধাৰণ চুটি প্ৰম্পটৰ কথোপকথনৰ তুলনাত দীঘল প্ৰসংগৰ ব্যৱহাৰৰ বাবে অধিক উপযোগী।

সামগ্ৰিক ৰায়: 4.7/5 তৰা

Subquadraticএ বৰ্তমানৰ LLMসমূহৰ আটাইতকৈ গুৰুত্বপূৰ্ণ সীমাবদ্ধতাসমূহৰ এটা — মনোযোগৰ দ্বিঘাত ব্যয় — সমাধান কৰিবলৈ কাম কৰি আছে। বহু কম গণনাৰে বহু মিলিয়ন টোকেনৰ ব্যৱহাৰিক যুক্তি বিশ্লেষণ আগবঢ়াই, SubQএ এজেণ্ট আৰু দীঘল প্ৰসংগৰ এপ্লিকেচনৰ বাবে স্থাপত্যৰ ক্ষেত্ৰত এক অৰ্থপূৰ্ণ অগ্ৰগতি সূচিত কৰিছে।

আপুনিও Quasa.ioত পৰ্যালোচনা কৰি QUA পুৰস্কাৰ অৰ্জন কৰক!

আৰম্ভ কৰক: https://quasa.io/projects/subquadratic