Subquadratic নিয়ে Quasa সাইটে পর্যালোচনা: প্রথম সাব-কোয়াড্রাটিক LLM

#Quasa #QUA #subquadratic

Subquadratic হলো AI গবেষণা ও অবকাঠামোর ক্ষেত্রে অগ্রভাগে থাকা একটি কোম্পানি, যা নতুন এক শ্রেণির বৃহৎ ভাষা মডেল তৈরি করছে। তাদের প্রধান মডেল SubQ হলো সম্পূর্ণ সাব-কোয়াড্রাটিক স্পার্স-অ্যাটেনশন স্থাপত্যে নির্মিত প্রথম LLM। প্রচলিত ট্রান্সফরমার মডেলগুলোতে কনটেক্সটের দৈর্ঘ্যের সঙ্গে গণনার চাহিদা বর্গীয় হারে ($O(n^2)$) বাড়ে, কিন্তু SubQ মডেলে তা রৈখিক হারে ($O(n)$) বাড়ে, ফলে কয়েক মিলিয়ন টোকেন নিয়ে যুক্তিবিচার বাস্তবে কার্যকর ও দক্ষভাবে করা সম্ভব হয়।

SubQ বিশেষভাবে দীর্ঘ কনটেক্সটের কাজের জন্য তৈরি। এটি মানের অবনতি ছাড়াই একটি প্রম্পটে সম্পূর্ণ কোড রিপোজিটরি, এজেন্টের দীর্ঘ কার্যবিবরণী, কয়েক মাসের পুল রিকোয়েস্ট এবং স্থায়ীভাবে সংরক্ষিত অবস্থা প্রক্রিয়াকরণ করতে পারে। মডেলটি বর্তমানে 12 মিলিয়ন টোকেন পর্যন্ত কনটেক্সট উইন্ডো সমর্থন করে এবং দীর্ঘ কনটেক্সট থেকে তথ্য উদ্ধার ও সাধারণ যুক্তিবিচার—উভয় ধরনের মানদণ্ডেই ভালো ফল দেয়। 1 মিলিয়ন টোকেনের ক্ষেত্রে SubQ মডেলের গণনাশক্তির চাহিদা নাটকীয়ভাবে কম হয় (দাবি অনুযায়ী ডেন্স অ্যাটেনশনের তুলনায় 64.5× কম) এবং এটি প্রচলিত অ্যাটেনশন পদ্ধতির তুলনায় উল্লেখযোগ্যভাবে দ্রুত চলে।

কোম্পানিটি “দক্ষতাই বুদ্ধিমত্তা” নীতিকে গুরুত্ব দেয়। স্থাপত্যের স্তরেই বর্গীয় হারে বাড়তে থাকা গণনার প্রতিবন্ধকতা দূর করে Subquadratic এমন এক নতুন প্রজন্মের AI এজেন্ট সম্ভব করতে চায়, যা খণ্ডে ভাগ করা, সারসংক্ষেপ তৈরি বা তথ্য উদ্ধারের জোড়াতালি কৌশলের ওপর নির্ভর করার বদলে সত্যিকার অর্থে বিপুল পরিমাণ কনটেক্সট নিয়ে কাজ করতে পারে।

যেসব ডেভেলপার, কোডিং এজেন্ট, প্রাতিষ্ঠানিক দল এবং গবেষকের দীর্ঘ কনটেক্সট নিয়ে নির্ভরযোগ্য যুক্তিবিচার প্রয়োজন, তাঁদের জন্য Subquadratic আদর্শ — বিশেষ করে সম্পূর্ণ কোডভান্ডার বিশ্লেষণ, দীর্ঘ সময় ধরে চলা এজেন্ট এবং একাধিক নথি নিয়ে জটিল কাজের ক্ষেত্রে।

প্রধান বৈশিষ্ট্য

• প্রথম সম্পূর্ণ সাব-কোয়াড্রাটিক (রৈখিক হারে গণনার চাহিদা বাড়ে এমন) LLM স্থাপত্য।
• কয়েক মিলিয়ন টোকেনের কনটেক্সট (12M টোকেন পর্যন্ত)।
• দীর্ঘ কনটেক্সট থেকে তথ্য উদ্ধারে শক্তিশালী সক্ষমতা, উচ্চ দক্ষতাসহ।
• সম্পূর্ণ রিপোজিটরি নিয়ে কাজের জন্য তৈরি এবং এজেন্টের অবস্থা স্থায়ীভাবে সংরক্ষণের উপযোগী।
• OpenAI সঙ্গতিপূর্ণ API এবং কোডিং এজেন্টের সঙ্গে সমন্বয়।

• বিবেচনায় রাখার সম্ভাব্য বিষয়

• অগ্রগামী গবেষণাভিত্তিক মডেল হিসেবে এর বৃহত্তর প্রযুক্তি পরিমণ্ডল এবং বিভিন্ন আকারের সংস্করণ এখনো সম্প্রসারিত হচ্ছে।
• সাধারণ ছোট প্রম্পটের কথোপকথনের চেয়ে দীর্ঘ কনটেক্সটের ব্যবহারের জন্য বেশি উপযোগী।

সামগ্রিক মূল্যায়ন: 4.7/5 তারকা

Subquadratic বর্তমান বৃহৎ ভাষা মডেলগুলোর অন্যতম গুরুত্বপূর্ণ সীমাবদ্ধতা — অ্যাটেনশনের বর্গীয় হারে বাড়তে থাকা গণনাব্যয় — মোকাবিলা করছে। অনেক কম গণনাশক্তি ব্যবহার করে কয়েক মিলিয়ন টোকেন নিয়ে বাস্তবে কার্যকর যুক্তিবিচারের সুবিধা দেওয়ার মাধ্যমে SubQ এজেন্ট ও দীর্ঘ কনটেক্সটের অ্যাপ্লিকেশনের জন্য স্থাপত্যগতভাবে একটি তাৎপর্যপূর্ণ অগ্রগতি নিয়ে এসেছে।

Quasa.io সাইটেও পর্যালোচনা লিখে QUA পুরস্কার অর্জন করুন!

শুরু করুন: https://quasa.io/projects/subquadratic