Lokāls MI ar Ollama: dati paliek datorā tikai ar lokālu modeli

Lai palaistu modeli lokāli, instalē Ollama, lejupielādē to ar komandu ollama pull gemma4:e2b un sāc sarunu ar ollama run gemma4:e2b. Ollama ātrā sākuma pamācība šo modeli piedāvā darbam datorā bez API atslēgas; lejupielāde ir aptuveni 7,2 GB, un ieteikta 8 GB pieejama videokartes vai Mac vienotā atmiņa. Kad lejupielāde pabeigta, atvieno internetu un uzdod jaunu, nekaitīgu jautājumu, lai pārbaudītu, vai modelis spēj atbildēt bez attālinātas izpildes.

Ollama privātuma politika norāda, ka uzņēmums nesaņem lokāli apstrādātas uzvednes un atbildes, savukārt mākoņa modeļu pieprasījumi tiek apstrādāti attālināti. Tāpēc programmas instalēšana pati par sevi vēl nenosaka konkrētas uzvednes datu ceļu: nozīme ir izvēlētajam modelim un lietotnei, ar kuru to izmanto.

Lejupielādē modeli un sāc sarunu

Atsevišķa modeļa lejupielādes komanda nav obligāta, jo ollama run lejupielādē modeli, ja tā datorā vēl nav. Tomēr darbam ar sensitīvu saturu šos posmus ir vērts nodalīt: lejupielādei vajadzīgs internets, bet lokālas izpildes pārbaudi var veikt pēc savienojuma atvienošanas.

1. Instalē un atver Ollama savā datorā. Ja Linux vidē serveris vēl nedarbojas, palaid ollama serve un atstāj šo termināļa logu atvērtu.
2. Citā termināļa logā ievadi ollama pull gemma4:e2b un sagaidi lejupielādes beigas. Pirms tās pabeigšanas vēl nepārbaudi darbību bez interneta.
3. Ievadi ollama run gemma4:e2b un uzdod īsu jautājumu bez persondatiem, piemēram, lūdz vienā teikumā paskaidrot kādu ikdienišķu jēdzienu. Lai izietu no sarunas, ievadi /bye.

Atbilde terminālī rāda, ka saruna darbojas. Ja dators joprojām ir tiešsaistē, šis rezultāts viens pats neparāda, vai uzvedne ir palikusi datorā; tam vajadzīga atsevišķa bezsaistes pārbaude.

Novērtē diska vietu un darbības atmiņu

Lejupielādētā modeļa faila apjoms nav visa atmiņa, kas vajadzīga atbildes veidošanai. Papildu vietu aizņem sarunas konteksts — teksts, kuru modelis ņem vērā, veidojot nākamo atbildi. Garāks dokuments vai saruna tādēļ var palielināt atmiņas slodzi, pat ja paša modeļa fails nemainās.

Pirms lielāka modeļa izvēles salīdzini tā norādīto lejupielādes apjomu ar brīvo diska vietu un pieejamo operatīvo vai videokartes atmiņu. Ja modelis neietilpst videokartes atmiņā, Ollama var izmantot sistēmas atmiņu, taču atbildes var kļūt lēnākas. Atstāj vietu arī operētājsistēmai un citām programmām, nevis rēķinies tikai ar modeļa faila lielumu.

Pēc palaišanas komanda ollama ps parāda, kuri modeļi pašlaik ielādēti atmiņā. Kolonnā PROCESSOR var redzēt, vai konkrētais modelis izmanto CPU, GPU vai abus. Tas palīdz izskaidrot lēnu darbību, bet šī kolonna nav tīkla savienojumu pārbaude.

Pārbaudi vietējo API un modeļa izvēli

Ollama vietējā API adrese ir http://localhost:11434. Terminālī komanda curl http://localhost:11434/api/tags parāda vietējā serverī pieejamo modeļu sarakstu; pārbaudi, vai tajā ir gemma4:e2b. Atbilde no šīs adreses apliecina, ka sasniedzams vietējais serveris, taču vēl neapliecina, kuru modeli vēlāk izvēlēsies cita lietotne.

Pašu pieprasījumu vari nosūtīt ar komandu curl http://localhost:11434/api/chat -d '{"model":"gemma4:e2b","messages":[{"role":"user","content":"Pasaki vienu teikumu latviski."}],"stream":false}'. Atbildes tekstu meklē laukā message.content. Šajā pārbaudē svarīga ir gan adrese, gan pieprasījuma laukā model ierakstītais nosaukums; mainot vienu no tiem, mainās pārbaudītā darbplūsma.

Ja izmanto atsevišķu tērzēšanas lietotni, apskati tās iestatījumus pašā lietotnē. Tai var būt sava API adrese, sava modeļa izvēle vai papildu funkcijas, kas izmanto ārēju pakalpojumu. Veiksmīgs termināļa pieprasījums nepierāda, kā dati tiek apstrādāti šajā citā lietotnē.

Atkārto pieprasījumu bez interneta un novēro tīklu

Pēc pilnīgas lejupielādes atvieno Wi-Fi un vadu internetu, kā arī jebkuru citu aktīvu ārējo savienojumu. Tad tieši ar ollama run gemma4:e2b uzdod jaunu, nekaitīgu jautājumu, kuru iepriekš neesi izmantojis. Ja saņem jaunu atbildi bez ārēja savienojuma, šim pieprasījumam attālināts modelis nav bijis vajadzīgs.

Tādu pašu pārbaudi veic arī lietotnē, kurā vēlāk plāno ievadīt sensitīvu tekstu. Pārliecinies, ka redzi jaunu atbildi, nevis agrāk saglabātu sarunu; ja lietotne bezsaistē nestrādā, tās datu ceļš jānoskaidro pirms sensitīvas uzvednes ievades. Tiešās Ollama sarunas rezultātu nevar automātiski attiecināt uz atšķirīgi konfigurētu integrāciju.

Atjauno internetu un operētājsistēmas tīkla pārraudzības rīkā novēro savienojumus tieši jauna pieprasījuma laikā. Atšķir pieprasījumu uz localhost no izejoša savienojuma uz ārēju adresi un paskaties, kurš process pēdējo izveido. Ārējs savienojums pats par sevi neatklāj pārsūtīto saturu — tas var būt saistīts ar citu lietotnes funkciju —, tāpēc šo novērojumu vērtē kopā ar bezsaistes testu un lietotnes iestatījumiem.

Atšķir mākoņa modeli no lokālas izpildes

Vietējā API adrese viena pati nav privātuma garantija: Ollama var saņemt pieprasījumu datorā un izmantot mākoņa modeli tā izpildei. Arī mākoņa modelim lietotnē var būt pazīstams modeļa nosaukums, tāpēc nepietiek pārbaudīt tikai to, vai saziņa sākas ar localhost. Pārbaudi pilnu modeļa izvēli un to, vai attiecīgā lietotne nav ieslēgusi tīmekļa meklēšanu vai citu ārēju integrāciju.

Ja vēlies Ollama izmantot tikai lokāli, Ollama atbildes par mākoņa funkcijām paredz iestatījumu {"disable_ollama_cloud":true} failā ~/.ollama/server.json vai vides mainīgo OLLAMA_NO_CLOUD=1. Pēc izmaiņas pārstartē Ollama; tās žurnālā ieraksts Ollama cloud disabled: true norāda, ka mākoņa funkcijas ir atslēgtas. Šis iestatījums atslēdz arī Ollama tīmekļa meklēšanu, bet tas nekontrolē atsevišķas ārējās lietotnes savienojumus.

Ja vēlāk nomaini modeli vai pievieno integrāciju, pārbaudi jauno konfigurāciju ar nekaitīgu uzvedni. Sensitīvus datus ievadi tikai pēc tam, kad konkrētā lietotne izmanto izvēlēto lokālo modeli un tās pieprasījums darbojas bez ārēja savienojuma.

Lasiet arī:

• Microsoft Quine savieno modeli ar laboratoriju — klīnikai tas vēl nav gatavs
• NetApp Console automatizē krātuves — uzņēmums var paturēt savu MI modeli
• MI sapulces protokols nav tikai poga: dalībnieki jāinformē