Subquadratic: Botali na Quasa ya LLM ya liboso oyo bokoli na yango ezali na nse ya ndenge ya kwadratiki

#Quasa #QUA #subquadratic

Subquadratic ezali kompanyi ya bolukiluki ya sika mpenza na AI mpe ya biloko ya moboko oyo esalaka ete AI esala, oyo ezali kotonga lolenge ya sika ya bamodele minene ya lokota. Modele na bango ya liboso, SubQ, ezali LLM ya liboso oyo etongami na ebongiseli ya attention oyo etalaka kaka biteni mosusu ya makambo mpe oyo bokoli na yango ezali mobimba na nse ya ndenge ya kwadratiki. Na bokeseni na ba-Transformers ya momeseno, oyo motango ya misala na yango emataka na ndenge ya kwadratiki ntango bolai ya makambo ya kotalela ebakisami ($O(n^2)$), oyo ya SubQ emataka na ndenge ya linye ($O(n)$), mpe yango esalaka ete kokanisa na tokens mingi ya bamilio ekoma likambo oyo ekoki kosalema na bosaleli ya malamu ya makoki.

SubQ esalemi mingimingi mpo na misala oyo esengaka kotalela makambo milai. Ekoki kotalela babombi mobimba ya code, masolo milai ya misala ya ba-agent, ba-pull requests ya basanza mingi, mpe ba-etat oyo ebatelamaka, nyonso na prompt moko kozanga ete lolenge ya mosala ebeba. Sikoyo modele yango ekoki koyamba makambo ya kotalela ya bolai ya kino 12 million tokens mpe epesaka matomba ya makasi na mimekano ya koluka makambo na kati ya makambo milai mpe ya kokanisa na makambo ndenge na ndenge. Na 1 million tokens, SubQ esengaka makoki ya kosala ba-calcul moke mpenza (balobi ete esalelaka yango 64.5× moke koleka attention oyo etalaka biteni nyonso) mpe esalaka noki mingi koleka ba-mecanisme ya attention ya momeseno.

Kompanyi yango etyaka makanisi na yango na mobeko oyo: “kosalela makoki malamu ezali mayele.” Na kosilisa mokakatano oyo euti na bokoli ya kwadratiki na ebongiseli ya modele yango moko, Subquadratic ezali na mokano ya kopesa nzela na libota ya sika ya ba-agent ya AI oyo bakoki mpenza kosala na makambo mingi ya kotalela na esika ya kotya motema na kokabola yango na biteni, kosala bokuse na yango, to mayele ya kobongisa mwa moke ndenge ya koluka makambo.

Subquadratic ebongi mpenza mpo na bato oyo basalaka ba-logiciel, ba-agent oyo bakomaka code, bituluku ya mosala ya bakompanyi, mpe balukiluki oyo bazali na mposa ya kokanisa oyo ekoki kotyelama motema na makambo milai — mingimingi mpo na kotalela code nyonso ya mwango, ba-agent oyo basalaka ntango molai, mpe misala ya mindondo oyo etaleli mikanda mingi.

Makambo ya ntina

• Ebongiseli ya liboso ya LLM oyo bokoli na yango ezali mobimba na nse ya ndenge ya kwadratiki (bokoli ya linye).
• Makambo ya kotalela ya tokens mingi ya bamilio (kino 12M tokens).
• Makoki ya makasi ya koluka makambo na kati ya makambo milai na bosaleli ya malamu mpenza ya makoki.
• Esalemi mpo na babombi mobimba ya code mpe mpo na kobatela etat ya agent.
• API oyo eyokani na OpenAI mpe bokangisi na ba-agent oyo bakomaka code.

• Makambo oyo ekoki kosenga kotalelama

• Lokola ezali modele ya bolukiluki ya sika mpenza, lisanga ya ba-outil mpe ya bato oyo basalelaka yango, mpe mitindo na yango ya bonene ndenge na ndenge, ezali naino kokola.
• Ebongi mingi mpo na misala oyo esengaka makambo milai ya kotalela koleka masolo ya momeseno na ba-prompt ya mikuse.

Bosambisi ya mobimba: 4.7/5 minzoto

Subquadratic ezali koluka kosilisa moko ya bandelo ya ntina mingi ya ba-LLM ya lelo — ntalo ya attention oyo emataka na ndenge ya kwadratiki. Na kopesa likoki ya kokanisa na tokens mingi ya bamilio na ndenge oyo ekoki kosalelama, na makoki ya kosala ba-calcul moke mingi, SubQ ezali litambe ya ntina na bokoli ya ebongiseli ya ba-agent mpe ya ba-application oyo etalelaka makambo milai.

Yo mpe zwa mbano ya QUA na kopesa botali na Quasa.io!

Banda: https://quasa.io/projects/subquadratic