Subquadraticର Quasaରେ ସମୀକ୍ଷା: ପ୍ରଥମ ସବ୍-କ୍ୱାଡ୍ରାଟିକ୍ LLM

#Quasa #QUA #subquadratic

Subquadratic ହେଉଛି ଅତ୍ୟାଧୁନିକ AI ଗବେଷଣା ଓ ଭିତ୍ତିଭୂମି କ୍ଷେତ୍ରର ଏକ କମ୍ପାନି, ଯାହା ଏକ ନୂଆ ଶ୍ରେଣୀର ବୃହତ୍ ଭାଷା ମଡେଲ୍ ତିଆରି କରୁଛି । ଏହାର ପ୍ରମୁଖ ମଡେଲ୍ SubQ ହେଉଛି ସମ୍ପୂର୍ଣ୍ଣ ସବ୍-କ୍ୱାଡ୍ରାଟିକ୍ ସ୍ପାର୍ସ-ଆଟେନ୍ସନ୍ ଆର୍କିଟେକ୍ଚର ଉପରେ ନିର୍ମିତ ପ୍ରଥମ LLM । ପାରମ୍ପରିକ Transformersରେ କଣ୍ଟେକ୍ସଟ୍ ଲମ୍ବ ସହିତ ଗଣନା ଆବଶ୍ୟକତା ବର୍ଗାନୁପାତରେ ($O(n^2)$) ବଢ଼ୁଥିବା ବେଳେ, SubQରେ ଏହା ସରଳ ଅନୁପାତରେ ($O(n)$) ବଢ଼େ, ଯାହା ଫଳରେ ଅନେକ ନିୟୁତ ଟୋକେନ୍ ଉପରେ ତର୍କଭିତ୍ତିକ ବିଶ୍ଳେଷଣ ବ୍ୟବହାରଯୋଗ୍ୟ ଓ ଦକ୍ଷ ହୋଇପାରୁଛି ।

SubQକୁ ବିଶେଷ ଭାବେ ଦୀର୍ଘ କଣ୍ଟେକ୍ସଟ୍ ଥିବା କାମ ପାଇଁ ତିଆରି କରାଯାଇଛି । ଏହା ଗୁଣବତ୍ତା ନ କମାଇ ଗୋଟିଏ ପ୍ରମ୍ପ୍ଟରେ ସମ୍ପୂର୍ଣ୍ଣ କୋଡ୍ ରିପୋଜିଟୋରି, ଏଜେଣ୍ଟର ଦୀର୍ଘ କାର୍ଯ୍ୟ ଇତିହାସ, ମାସ ମାସର ପୁଲ୍ ରିକ୍ୱେଷ୍ଟ ଏବଂ ସ୍ଥାୟୀ ଭାବେ ସଂରକ୍ଷିତ ଅବସ୍ଥା ପ୍ରକ୍ରିୟାକରଣ କରିପାରେ । ମଡେଲ୍ ବର୍ତ୍ତମାନ 12 million ଟୋକେନ୍ ପର୍ଯ୍ୟନ୍ତ କଣ୍ଟେକ୍ସଟ୍ ୱିଣ୍ଡୋ ସମର୍ଥନ କରୁଛି ଏବଂ ଦୀର୍ଘ କଣ୍ଟେକ୍ସଟ୍‌ରୁ ତଥ୍ୟ ଖୋଜି ବାହାର କରିବା ଓ ସାଧାରଣ ତର୍କଭିତ୍ତିକ ବିଶ୍ଳେଷଣ—ଉଭୟର ବେଞ୍ଚମାର୍କରେ ଭଲ ପ୍ରଦର୍ଶନ କରୁଛି । 1 million ଟୋକେନ୍‌ରେ SubQକୁ ବହୁତ କମ୍ ଗଣନା ସମ୍ବଳ ଦରକାର ହୁଏ (ଡେନ୍ସ ଆଟେନ୍ସନ୍ ତୁଳନାରେ 64.5× କମ୍ ବୋଲି ଦାବି କରାଯାଇଛି) ଏବଂ ଏହା ସାଧାରଣ ଆଟେନ୍ସନ୍ ପଦ୍ଧତି ତୁଳନାରେ ଯଥେଷ୍ଟ ଦ୍ରୁତ ଚାଲେ ।

କମ୍ପାନି “ଦକ୍ଷତା ହିଁ ବୁଦ୍ଧିମତ୍ତା” ନୀତି ଉପରେ ଗୁରୁତ୍ୱ ଦିଏ । ଆର୍କିଟେକ୍ଚର ସ୍ତରରେ ବର୍ଗାନୁପାତିକ ଗଣନା ଆବଶ୍ୟକତାରୁ ସୃଷ୍ଟି ହେଉଥିବା ବାଧାର ସମାଧାନ କରି, Subquadratic ଏପରି ଏକ ନୂଆ ପିଢ଼ିର AI ଏଜେଣ୍ଟକୁ ସମ୍ଭବ କରିବାକୁ ଚାହୁଁଛି, ଯାହା କଣ୍ଟେକ୍ସଟ୍‌କୁ ଖଣ୍ଡ ଖଣ୍ଡ କରିବା, ସାରାଂଶ କରିବା କିମ୍ବା ତଥ୍ୟ ଖୋଜିବାର ଅସ୍ଥାୟୀ କୌଶଳ ଉପରେ ନିର୍ଭର କରିବା ବଦଳରେ ପ୍ରକୃତରେ ବହୁ ପରିମାଣର କଣ୍ଟେକ୍ସଟ୍ ସହ କାମ କରିପାରିବ ।

ନିର୍ଭରଯୋଗ୍ୟ ଦୀର୍ଘ କଣ୍ଟେକ୍ସଟ୍‌ଭିତ୍ତିକ ତର୍କ ବିଶ୍ଳେଷଣ ଆବଶ୍ୟକ କରୁଥିବା ଡେଭେଲପର୍, କୋଡିଂ ଏଜେଣ୍ଟ, ବ୍ୟବସାୟିକ ଟିମ୍ ଓ ଗବେଷକଙ୍କ ପାଇଁ Subquadratic ଆଦର୍ଶ — ବିଶେଷ କରି ସମ୍ପୂର୍ଣ୍ଣ କୋଡ୍‌ବେସ୍ ବିଶ୍ଳେଷଣ, ଦୀର୍ଘ ସମୟ ଧରି କାମ କରୁଥିବା ଏଜେଣ୍ଟ ଏବଂ ଏକାଧିକ ଡକ୍ୟୁମେଣ୍ଟ ସମ୍ବନ୍ଧୀୟ ଜଟିଳ କାମ ପାଇଁ ।

ପ୍ରମୁଖ ବିଶେଷତା

• ପ୍ରଥମ ସମ୍ପୂର୍ଣ୍ଣ ସବ୍-କ୍ୱାଡ୍ରାଟିକ୍ (ସରଳ ଅନୁପାତରେ ବଢ଼ୁଥିବା) LLM ଆର୍କିଟେକ୍ଚର ।
• ଅନେକ ନିୟୁତ ଟୋକେନ୍‌ର କଣ୍ଟେକ୍ସଟ୍ (12M ଟୋକେନ୍ ପର୍ଯ୍ୟନ୍ତ) ।
• ଦୀର୍ଘ କଣ୍ଟେକ୍ସଟ୍‌ରୁ ତଥ୍ୟ ଖୋଜି ବାହାର କରିବାରେ ଉନ୍ନତ କ୍ଷମତା ସହ ଉଚ୍ଚ ଦକ୍ଷତା ।
• ସମ୍ପୂର୍ଣ୍ଣ ରିପୋଜିଟୋରି ପାଇଁ ତିଆରି ଏବଂ ଏଜେଣ୍ଟର ଅବସ୍ଥାକୁ ସ୍ଥାୟୀ ଭାବେ ସଂରକ୍ଷିତ ରଖିବାର ବ୍ୟବସ୍ଥା ।
• OpenAI ସହ ସୁସଙ୍ଗତ API ଏବଂ କୋଡିଂ ଏଜେଣ୍ଟ ସହ ସଂଯୋଗ ସୁବିଧା ।

• ବିଚାର କରିବାକୁ ଥିବା ସମ୍ଭାବ୍ୟ ଦିଗ

• ଅତ୍ୟାଧୁନିକ ଗବେଷଣା ମଡେଲ୍ ହୋଇଥିବାରୁ ଏହାର ବ୍ୟାପକ ଇକୋସିଷ୍ଟମ୍ ଏବଂ ବିଭିନ୍ନ ଆକାରର ସଂସ୍କରଣ ଏବେ ବି ବିସ୍ତାର ଲାଭ କରୁଛି ।
• ସାଧାରଣ ଛୋଟ ପ୍ରମ୍ପ୍ଟର ଚାଟ୍ ତୁଳନାରେ ଦୀର୍ଘ କଣ୍ଟେକ୍ସଟ୍ ଆବଶ୍ୟକ ହେଉଥିବା କାମ ପାଇଁ ଅଧିକ ଉପଯୁକ୍ତ ।

ସାମଗ୍ରିକ ମୂଲ୍ୟାୟନ: 4.7/5 ଷ୍ଟାର୍

Subquadratic ବର୍ତ୍ତମାନର LLMଗୁଡ଼ିକର ଏକ ପ୍ରମୁଖ ସୀମାବଦ୍ଧତା — ଆଟେନ୍ସନ୍‌ର ବର୍ଗାନୁପାତିକ ଗଣନା ଖର୍ଚ୍ଚ — ଦୂର କରିବାକୁ କାମ କରୁଛି । ବହୁତ କମ୍ ଗଣନା ସମ୍ବଳରେ ଅନେକ ନିୟୁତ ଟୋକେନ୍ ଉପରେ ବ୍ୟବହାରଯୋଗ୍ୟ ତର୍କଭିତ୍ତିକ ବିଶ୍ଳେଷଣ ସମ୍ଭବ କରି, SubQ ଏଜେଣ୍ଟ ଓ ଦୀର୍ଘ କଣ୍ଟେକ୍ସଟ୍‌ଭିତ୍ତିକ ଆପ୍ଲିକେସନ୍ ପାଇଁ ଆର୍କିଟେକ୍ଚର କ୍ଷେତ୍ରରେ ଏକ ଉଲ୍ଲେଖନୀୟ ଅଗ୍ରଗତି ଆଣିଛି ।

ଆପଣ ମଧ୍ୟ Quasa.ioରେ ସମୀକ୍ଷା ଲେଖି QUA ପୁରସ୍କାର ପାଆନ୍ତୁ!

ଆରମ୍ଭ କରନ୍ତୁ: https://quasa.io/projects/subquadratic