Kjør Ollama lokalt – feil modellstørrelse stopper før første svar

For å kjøre Ollama lokalt installerer du programmet, velger en modell som passer maskinens tilgjengelige minne, og starter den med ollama run. Hvis maskinen ikke har nok minne til å laste modellen, kommer heller ikke det første svaret. Begynn derfor med en liten, navngitt modellvariant før du prøver en større.

Ollamas hurtigstart skiller mellom lokale modeller uten API-nøkkel og valgfrie skymodeller. For et lokalt svar bruker du en nedlastet modell og serveren på localhost:11434. Begge deler er viktige: Adressen alene forteller ikke hvilken modell en app har valgt.

Installer Ollama og start serveren

Ollama kan lastes ned for Windows, macOS og Linux. På Windows og macOS åpner du appen etter installasjonen. På Linux starter du serveren med ollama serve hvis den ikke allerede kjører, og bruker en annen terminal til modellkommandoene. Når serveren er i gang, kan både terminalen og det lokale API-et sende forespørsler til den.

Det er modellen, mer enn selve installasjonen, som avgjør hvor krevende oppsettet blir. Windows Centrals installasjonsguide beskriver hvordan Ollama kan bruke prosessor og systemminne uten et dedikert grafikkort, men med lavere ytelse enn ved bruk av grafikkort. En bærbar maskin uten mye ledig minne bør derfor begynne med en liten modell. Lukk gjerne andre minnekrevende programmer før første forsøk, slik at de ikke tar av kapasiteten modellen trenger.

Velg blant tre modellstørrelser

Ollamas Gemma 3-katalog oppgir omtrent 806 MB for gemma3:1b, 3,4 GB for gemma3:4b og 8,2 GB for gemma3:12b. Tallene gjelder nedlastingene, ikke garantert bruk av RAM eller grafikkminne under kjøring. Modellen trenger også plass til arbeidet med forespørselen, mens operativsystemet og andre programmer bruker minne samtidig.

• Lite ledig minne eller bare prosessor: Velg gemma3:1b til første samtale og API-kontroll. Den minste av disse variantene er et mer realistisk startpunkt når du ennå ikke vet hvor mye kapasitet maskinen har til overs. Den kan gi enklere svar enn større varianter.
• God minnemargin på en vanlig maskin: Prøv gemma3:4b etter at den lille modellen fungerer. Følg med på om andre programmer blir trege, eller om ventetiden på svar blir upraktisk. Gå tilbake til den mindre varianten dersom belastningen blir for høy.
• Rikelig ledig RAM eller grafikkminne: gemma3:12b er et mulig neste trinn. Kontroller tilgjengelig arbeidsminne før du laster den. Ledig plass på disken betyr bare at modellfilen kan lagres, ikke at modellen kan lastes og brukes.

Dette er en rekkefølge for første oppsett, ikke faste maskinvarekrav. Hvor godt en variant fungerer, avhenger blant annet av hvor mye minne som faktisk er ledig når du starter den. Mangler grafikkortet plass, kan Ollama bruke systemminne og bli tregere. Mangler maskinen også tilstrekkelig systemminne, kan oppstarten stoppe før modellen gir et svar. Større samtaler kan dessuten kreve mer minne enn et kort første spørsmål.

Last ned modellen og få et svar

Åpne terminalen og skriv ollama pull gemma3:1b. Vent til nedlastingen er ferdig, og start deretter modellen med ollama run gemma3:1b. Still et kort spørsmål, for eksempel «Hva er hovedstaden i Norge?». Kommer det et svar i terminalen, har du fått den første samtalen i gang på maskinen. Skriv /bye for å avslutte samtalen.

Bruk hele modellnavnet i begge kommandoene. Skriver du bare gemma3, velger du ikke uttrykkelig den lille varianten; standardvarianten i katalogen kan være større. Den presise endelsen gjør også API-kontrollen enklere, fordi du kan be serveren om akkurat modellen du lastet ned. Nedlastingen krever nettforbindelse, mens selve forespørselen til en allerede nedlastet lokal modell kan behandles på maskinen.

Hvis nedlastingen stanser, undersøk nettforbindelsen og ledig lagringsplass. Hvis modellen er lastet ned, men ikke starter, er tilgjengelig arbeidsminne mer relevant enn ledig diskplass. Da er det fornuftig å gå ned i modellstørrelse før du endrer andre deler av oppsettet. Et svar som kommer svært langsomt, kan også være et tegn på at kjøringen belaster prosessor og systemminne mer enn du hadde regnet med.

Kontroller svaret gjennom det lokale API-et

Send en forespørsel til http://localhost:11434/api/chat med samme modellnavn som i terminalen. På macOS og Linux kan du bruke curl http://localhost:11434/api/chat -H 'Content-Type: application/json' -d '{"model":"gemma3:1b","messages":[{"role":"user","content":"Svar kort på norsk"}],"stream":false}'. Når svaret inneholder tekst i message.content, har den lokale serveren svart på forespørselen med den angitte modellen.

I PowerShell på Windows kan du sende den samme forespørselen med Invoke-RestMethod -Uri 'http://localhost:11434/api/chat' -Method Post -ContentType 'application/json' -Body (@{model='gemma3:1b'; messages=@(@{role='user'; content='Svar kort på norsk'}); stream=$false} | ConvertTo-Json -Depth 4). Kommandoen bruker PowerShells egen form for JSON-data. Curl-eksemplet over er skrevet for skallet på macOS og Linux og kan ikke kopieres uendret inn i PowerShell.

Får du ingen forbindelse, kontroller at Ollama-serveren kjører. Melder API-et at modellen mangler, last den ned og se etter at modellnavnet er stavet likt i nedlastingskommandoen og forespørselen. localhost peker til din egen maskin; sammen med den navngitte, nedlastede modellen viser et vellykket kall hva akkurat denne forespørselen brukte. Når du senere kobler til en annen app, må du velge lokal modell og lokalt endepunkt også der, siden Ollama i tillegg tilbyr skymodeller.

Les også:

• Strukturerte KI-svar: gyldig JSON kan fortsatt inneholde feil
• Slik måler du RAG: et troverdig svar kan fortsatt bygge på feil treff
• Fabric IQ kobler Copilot til styrte data – 20 millioner modeller er grunnlaget