Microsoft pušta lokalni kodni model — puni kontekst traži 75,5 GB memorije

Prema eWEEK-ovu izvještaju, Microsoft je 7. listopada 2026. objavio da se kodni model MAI-Code-1.1-Flash može preuzeti i pokrenuti lokalno: kvantizirana izvedba zauzima 53 GB, a na testnom računalu Surface Laptop Ultra pri kontekstu od 256.000 tokena izmjeren je vrh od 75,5 GB memorije. Razlika između veličine modela i potrošnje tijekom rada određuje kakvo računalo može iskoristiti njegov puni kontekst.

U objavi Microsoft AI-ja od 7. listopada stoji da se za najbolje lokalne performanse preporučuje više od 120 GB RAM-a, da je model već u produkciji u GitHub Copilotu te da eksperimentalni lokalni pristup kroz aplikaciju Copilot, Copilot CLI i Visual Studio Code stiže do kraja listopada. Tvrtka za novu inačicu navodi 25 % brže slanje izlaznih tokena i 25 % manju potrošnju tokena u Copilotu te cijenu od četvrtine cijene prethodne inačice. Današnja dostupnost modela za lokalno pokretanje zato nije isto što i dovršena lokalna integracija u Copilot.

Koliko memorije traži puni kontekst

Kvantizacija smanjuje prostor koji zauzimaju težine modela, ali one nisu jedini potrošač memorije. Operacijskom sustavu, razvojnim alatima i programu koji izvodi model također treba prostor. Kako agent čita datoteke i prima rezultate alata, raste i predmemorija stanja već obrađenih tokena. Zato vršna potrošnja pri punom kontekstu opisuje zahtjevniji slučaj od samog učitavanja kvantiziranog modela.

Usporedba s uobičajenim kapacitetima računala pokazuje što objavljene brojke dopuštaju zaključiti. To su scenariji izvedeni iz mjerenja, a ne popis službeno podržanih konfiguracija:

• 32 GB: kapacitet je manji od same kvantizirane izvedbe. Objavljene brojke ne daju osnovu za očekivanje da će se cijeli model smjestiti u dostupnu memoriju takvog računala.
• 64 GB: model se po veličini može usporediti s ukupnim kapacitetom, ali izmjereni vrh pri punom kontekstu prelazi tu granicu. Prostor potreban sustavu i alatima dodatno sužava raspoloživu memoriju.
• 96 GB: ukupni kapacitet prelazi izmjereni vrh modela. Ta razlika ipak nije jamstvo performansi jer memoriju dijele i drugi procesi, a rezultat ovisi o načinu izvođenja.
• 128 GB objedinjene memorije: takav kapacitet pruža veću rezervu za model i ostatak sustava. I dalje je riječ o zajedničkom resursu, pa se preporuka za najbolje performanse ne može pretvoriti u zajamčen rezultat svake sesije.

Na računalu s odvojenom grafičkom memorijom važan je i prostor dostupan grafičkom procesoru, a ne samo ukupni RAM naveden u specifikaciji. Premještanje podataka između grafičke i sistemske memorije može usporiti izvođenje. Vršna vrijednost izmjerena je na konkretnoj konfiguraciji Surface Laptop Ultra; ne određuje univerzalni minimum za svaki uređaj ili kraći kontekst. Neovisni trošak takvog lokalnog rada također ostaje hardver, čak i kada nema naknade za pojedini lokalni poziv modelu.

Što pokazuju Microsoftovi testovi

Microsoftov tehnički prikaz navodi da je lokalna izvedba mjerena uz kvantizaciju miješane preciznosti od približno 3,3 bita po težini, spekulativno dekodiranje DFlash2 i Windows ARM64 izvođenje pomoću llama.cpp i CUDA-e; test je datiran 5. listopada 2026. Na skupu SWE-Bench Verified kvantizirana izvedba postigla je 70,80 %, prema 72,6 % za inačicu pune preciznosti, a na Terminal-Bench 2.1 postigla je 66,29 %, prema 62,9 %. To su Microsoftova mjerenja zadataka i konfiguracije, a ne neovisna provjera rezultata na drugim računalima.

Različit smjer razlike na dva testa koristan je podsjetnik da manja datoteka modela sama po sebi ne govori koliko će uspješno agent mijenjati kod. SWE-Bench Verified u prikazanoj usporedbi obuhvaća 500 zadataka, a Terminal-Bench 2.1 njih 89. Pojedinačni zadatak može zahtijevati drukčiji skup datoteka, alata i duljinu konteksta od onih u mjerenju. Objavljene brzine obrade upita pritom se odnose na sintetičko generiranje koda, pa ih ne treba čitati kao trajanje cijelog programerskog zadatka.

Model koristi arhitekturu s više stručnih dijelova: ima 137 milijardi parametara ukupno, dok je 6,8 milijardi aktivno po tokenu. Manji broj aktivnih parametara pomaže objasniti način obrade, ali ne smanjuje lokalnu datoteku na veličinu samo aktivnog dijela. Za računalo su presudni stvarni memorijski otisak kvantizirane izvedbe, prostor potreban tijekom izvođenja i duljina konteksta koju zadatak dosegne.

Gdje završava lokalni rad u Copilotu

Planirana integracija nudi dva načina odabira modela. U automatskom načinu Copilot može usmjeravati zahtjeve prema lokalnom modelu ili modelu u oblaku, ovisno o zadatku i stanju sesije. Izravan odabir lokalnog modela daje korisniku kontrolu nad time gdje se izvodi određena inferencija. Ni jedan od tih izbora sam po sebi ne znači da cijela Copilotova sesija radi bez internetske veze: usmjeravanje, izvršavanje alata i izvođenje modela imaju različite granice.

Ta je razlika važna i za pristup datotekama, mreži i vjerodajnicama. Naredbe koje agent pokrene inače nasljeđuju ovlasti računa pod kojim rade; premještanje modela na računalo te ovlasti ne mijenja. GitHub Copilot za izvršavanje alata koristi izolacijska pravila koja mogu ograničiti pokrenute procese. Lokalni model stoga rješava pitanje mjesta na kojem se računa odgovor, dok dopuštenja alata određuju što agent može učiniti nakon toga.

Eksperimentalni lokalni pristup u Copilotu najavljen za kraj listopada pokazat će kako će se ta razlika očitovati u aplikaciji, naredbenom retku i Visual Studio Codeu. Za korisnike koji žele zadržati određeni posao na vlastitom uređaju presudno će biti koji je model odabran za pojedini zahtjev i kakav pristup imaju alati koje sesija pokreće.

Pročitajte i:

• Lokalni AI s Ollamom: privatnost počinje zatvorenim portom, ne instalacijom
• Deel ili Remote za radnika u Hrvatskoj: brzina protiv lokalne dubine
• Obsidian ili Notion: lokalne bilješke pobjeđuju tek kad tim nije presudan