Ollama lokalnie: uruchom model i odróżnij go od chmury

Aby uruchomić model lokalnie w Ollamie, zainstaluj aplikację, pobierz model poleceniem ollama pull, rozpocznij rozmowę przez ollama run i wyślij żądanie do lokalnego API z tą samą nazwą modelu. Przewodnik Google dla Gemmy opisuje instalację Ollamy, pobieranie modelu, rozmowę w terminalu oraz wywołanie lokalnej usługi.

Ollama udostępnia również modele zdalne. Dokumentacja Ollamy o chmurze opisuje ich osobny wybór w aplikacji lub terminalu oraz bezpośrednie żądania do usługi internetowej. Dlatego przy podłączaniu własnego kodu sprawdzaj zarówno adres usługi, jak i nazwę modelu: połączenie z localhost samo w sobie nie dowodzi, gdzie wykonywane są obliczenia.

Zainstaluj Ollamę i uruchom usługę

Pobierz Ollamę ze strony producenta i wybierz instalator dla Windows, macOS albo Linux. Po instalacji otwórz nowe okno terminala i wpisz ollama --version. Odpowiedź z wersją programu oznacza, że terminal rozpoznaje polecenie. Jeśli go nie rozpoznaje, sprawdź, czy ścieżka do pliku wykonywalnego Ollamy znajduje się w systemowej zmiennej PATH; samo ponowne pobranie modelu tego problemu nie rozwiąże.

Otwórz aplikację Ollama, aby jej lokalna usługa mogła przyjmować żądania. W Linuksie, jeśli usługa nie została uruchomiona przez instalator, wpisz ollama serve w osobnym terminalu i pozostaw ten proces działający na czas próby API. Rozdzielenie programu wiersza poleceń i usługi jest istotne: terminal może rozpoznawać ollama --version, choć klient HTTP nadal nie zdoła połączyć się z serwerem.

Pobierz dokładny wariant i sprawdź rozmowę

Instalator Ollamy domyślnie nie zawiera modeli. W tym przykładzie wpisz ollama pull gemma4:e2b i poczekaj na zakończenie pobierania. Następnie uruchom ollama list. Na liście powinien znaleźć się identyfikator gemma4:e2b; zachowaj jego pełne brzmienie, łącznie z częścią po dwukropku. Polecenie ollama pull gemma4 wybiera domyślny wariant Gemmy, więc nie jest zamiennikiem polecenia wskazującego konkretnie gemma4:e2b.

Teraz wpisz ollama run gemma4:e2b i zadaj krótkie pytanie, na przykład „Napisz jedno zdanie po polsku”. Pojawienie się odpowiedzi pokazuje, że model daje się wywołać z terminala; rozmowę zakończysz przez /bye. Polecenie ollama run może też pobrać model, jeżeli nie ma go jeszcze na komputerze, lecz wcześniejsze ollama pull i ollama list pozwalają oddzielnie sprawdzić pobranie od samej rozmowy.

Wybór wariantu ma znaczenie dla dostępnej pamięci i tempa odpowiedzi. Gdy urządzenie nie ma dość pamięci graficznej, Ollama może korzystać z pamięci systemowej, co bywa wolniejsze. Nie zakładaj więc, że odpowiedź pojawi się równie szybko na każdym komputerze. Jeśli wybierzesz inny lokalny model, używaj jego dokładnej nazwy konsekwentnie w terminalu i w aplikacji.

Wyślij żądanie do lokalnego API

Rozmowa w terminalu sprawdza model, ale własna aplikacja będzie komunikować się przez HTTP. Wyślij żądanie POST pod adres http://localhost:11434/api/chat. W polu model wpisz identyfikator widoczny po ollama list, a w messages przekaż wiadomość użytkownika. Ustawienie stream na false zwraca odpowiedź jako jeden obiekt JSON, co upraszcza pierwszy test odczytu.

W terminalu używającym składni powłoki Unix wpisz: curl http://localhost:11434/api/chat -H "Content-Type: application/json" -d '{"model":"gemma4:e2b","messages":[{"role":"user","content":"Napisz jedno zdanie po polsku."}],"stream":false}'

W Windows PowerShell ten sam test możesz wykonać poleceniem: Invoke-RestMethod -Uri 'http://localhost:11434/api/chat' -Method Post -ContentType 'application/json' -Body (@{model='gemma4:e2b';messages=@(@{role='user';content='Napisz jedno zdanie po polsku.'});stream=$false} | ConvertTo-Json -Depth 4)

W odpowiedzi interfejsu /api/chat tekst modelu znajduje się w polu message.content. Błąd wskazujący nieznany model oznacza, że trzeba porównać wartość model w żądaniu z wynikiem ollama list; inny tag to inne wskazanie. Błąd połączenia wymaga sprawdzenia działania usługi Ollamy oraz adresu klienta. Dla lokalnego żądania z pobranym modelem nie potrzebujesz klucza API do usługi chmurowej.

Odróżnij model lokalny od chmurowego

Przy korzystaniu z aplikacji lub terminala Ollamy wariant z końcówką :cloud oznacza wybór modelu zdalnego. Bezpośrednie wywołanie chmurowego API ma z kolei adres https://ollama.com/api i wymaga klucza. To dwa różne sposoby dostępu do chmury, dlatego samej końcówki :cloud nie należy szukać w każdym żądaniu zdalnym. W konfiguracji lokalnej sprawdzaj razem adres localhost i identyfikator modelu wcześniej pobranego oraz widocznego na liście.

Jeśli projekt wymaga wyłączenia funkcji chmurowych Ollamy, FAQ Ollamy o trybie lokalnym podaje ustawienie disable_ollama_cloud na true w pliku ~/.ollama/server.json albo zmienną środowiskową OLLAMA_NO_CLOUD=1. Po zmianie uruchom usługę ponownie; w jej logach powinien pojawić się komunikat Ollama cloud disabled: true. Ustawienie wyłącza zarówno modele chmurowe Ollamy, jak i jej wyszukiwanie w sieci. Zmienna środowiskowa musi dotyczyć procesu uruchamiającego usługę, a nie wyłącznie osobnego okna terminala z klientem.

Podłącz własną aplikację

W kliencie HTTP ustaw bazowy adres http://localhost:11434/api i wysyłaj żądania POST do ścieżki /chat. Przekazuj tablicę messages z rolą user oraz tekstem pytania, a w polu model zapisuj dokładny identyfikator pobranego wariantu. Odczytuj treść odpowiedzi z message.content. Jeśli biblioteka klienta automatycznie dokleja ścieżkę endpointu do adresu bazowego, wpisz ją tylko w jednym miejscu, aby uniknąć błędnego adresu.

Adres usługi i nazwę modelu trzymaj jako osobne ustawienia aplikacji. Dzięki temu przy zmianie środowiska łatwo zauważyć, że lokalny adres został zestawiony z innym modelem albo że kod kieruje żądania do usługi internetowej. Wyślij z aplikacji krótkie pytanie użyte wcześniej w terminalu: odpowiedź pokaże, czy własny kod poprawnie zbudował żądanie i odczytał wynik z lokalnego endpointu.

Przeczytaj także: