Subquadratic í umsögn á Quasa: Fyrsta stóra mállíkanið með tímaflækju undir annars stigs

#Quasa #QUA #subquadratic

Subquadratic er fyrirtæki í fremstu röð á sviði gervigreindarrannsókna og innviða sem þróar nýjan flokk stórra mállíkana. Flaggskipslíkan þess, SubQ, er fyrsta stóra mállíkanið sem byggist á strjálum athyglisarkitektúr með tímaflækju sem er að öllu leyti undir annars stigs. Ólíkt hefðbundnum Transformer-líkönum, þar sem reikniþörfin vex í öðru veldi með lengd samhengisins ($O(n^2)$), vex reikniþörf SubQ línulega ($O(n)$), sem gerir rökhugsun yfir margar milljónir tóka raunhæfa og skilvirka.

SubQ er sérstaklega hannað fyrir verkefni með löngu samhengi. Það getur unnið úr heilum kóðasöfnum, löngum aðgerðasögum aðstoðarforrita, margra mánaða sameiningarbeiðnum og viðvarandi stöðuupplýsingum í einni kvaðningu án þess að gæði skerðist. Líkanið styður nú samhengisglugga með allt að 12 milljónum tóka og skilar góðum árangri bæði í viðmiðunarprófum á upplýsingaleit í löngu samhengi og almennri rökhugsun. Við 1 milljón tóka þarf SubQ mun minni reikniafl (að sögn 64.5× minna en þétt athygliskerfi) og vinnur verulega hraðar en hefðbundin athygliskerfi.

Fyrirtækið leggur áherslu á meginregluna að “skilvirkni sé greind.” Með því að leysa flöskuháls annars stigs vaxtar í sjálfum arkitektúrnum stefnir Subquadratic að því að gera nýrri kynslóð gervigreindaraðstoðarforrita kleift að vinna í raun með mikið samhengi í stað þess að reiða sig á bútaskiptingu, samantektir eða bráðabirgðalausnir við upplýsingaleit.

Subquadratic hentar sérstaklega vel forriturum, forritunaraðstoðarforritum, teymum innan fyrirtækja og rannsakendum sem þurfa á áreiðanlegri rökhugsun yfir langt samhengi að halda — einkum við greiningu á heilum kóðagrunnum, notkun aðstoðarforrita sem starfa lengi samfleytt og flókin verkefni sem ná yfir mörg skjöl.

Helstu kostir

• Fyrsti arkitektúr stórs mállíkans með tímaflækju sem er að öllu leyti undir annars stigs (línulegur vöxtur).
• Samhengi með mörgum milljónum tóka (allt að 12M tókar).
• Öflug upplýsingaleit í löngu samhengi með mikilli skilvirkni.
• Hannað fyrir heil kóðasöfn og viðvarandi stöðu aðstoðarforrita.
• API sem er samhæft við OpenAI og samþættingar við forritunaraðstoðarforrit.

• Hugsanlegir fyrirvarar

• Þar sem um er að ræða rannsóknarlíkan í fremstu röð er enn verið að stækka vistkerfið í kringum það og fjölga stærðarútgáfum.
• Hentar best fyrir verkefni með löngu samhengi fremur en almennt spjall með stuttum kvaðningum.

Heildarmat: 4.7/5 stjörnur

Subquadratic tekst á við eina helstu takmörkun núverandi stórra mállíkana — reiknikostnað athygliskerfa sem vex í öðru veldi. Með því að gera rökhugsun yfir margar milljónir tóka raunhæfa með mun minni reikniaflsþörf felur SubQ í sér verulegt framfaraskref í arkitektúr fyrir aðstoðarforrit og forrit sem vinna með langt samhengi.

Fáðu líka QUA í verðlaun með því að skrifa umsögn á Quasa.io!

Byrjaðu hér: https://quasa.io/projects/subquadratic