Lokal eller skybasert språkmodell: personvern har en driftspris

Velg lokal drift når dokumenter må behandles på virksomhetens eget utstyr, og arbeidsmengden kan forsvare kapasiteten dere kjøper. Velg en skybasert språkmodell når rask oppstart, fleksibel kapasitet eller tilgang til mer krevende modellfunksjoner veier tyngst. Sammenlign alternativene på de samme oppgavene og med de samme kravene til personvern og svarkvalitet.

Lokal behandling gir større kontroll over hvor dataene går, men maskinvare, strøm og driftstid koster også når modellen brukes lite. En skybasert tjeneste krever mindre egen infrastruktur, mens API-regningen følger bruken. Derfor kan en fordeling mellom lokal behandling av sensitive oppgaver og skybruk for andre oppgaver være mer treffende enn ett valg for hele virksomheten.

Datakontroll avhenger av hele dataflyten

En lokalt kjørt språkmodell kan behandle dokumenter uten å sende dem til en ekstern modelltjeneste. Det forutsetter at dokumentlager, søkefunksjoner, logger og sikkerhetskopier også er satt opp slik virksomheten har tenkt. Lokal kjøring gir kontroll over behandlingsstedet, men virksomheten må fortsatt styre hvem som får tilgang til opplysningene og når de skal slettes.

Ved skybruk blir leverandørens rolle og avtalevilkår en del av vurderingen. Datatilsynets veiledning om databehandleravtaler krever en konkret beskrivelse av behandlingens art, formål og varighet samt hvilke opplysninger og personer den omfatter. For den aktuelle tjenesten må virksomheten også avklare hvor innhold og logger behandles og lagres, hvilke underleverandører som brukes, og hvordan opplysningene slettes eller leveres tilbake.

En opplysning om europeisk datalagring svarer ikke alene på hvor alle deler av behandlingen skjer. Spørsmålene gjelder både forespørselen til modellen, eventuelle vedlegg, logger og kopier som oppstår i tilknyttede tjenester. Den relevante personverngevinsten ved lokal drift er derfor en dataflyt virksomheten faktisk kan holde innenfor egne rammer.

Modellkvalitet må måles på den samme oppgaven

Skytjenester kan gi rask tilgang til modeller og ferdige funksjoner som ellers må settes opp lokalt. I Tom’s Guides praktiske sammenligning ga ChatGPT sterkere svar på komplekse oppgaver og enklere tilgang til nettsøk, mens den lokale løsningen fungerte uten internett og lot innholdet bli på enheten. Det beskriver oppsettene som ble prøvd, ikke kvaliteten på enhver lokal modell eller skytjeneste.

En mindre lokal modell kan være tilstrekkelig til å klassifisere henvendelser, lage førsteutkast eller arbeide med et avgrenset internt materiale. Verdien avhenger av om den oppfyller virksomhetens krav til presisjon og svartid på maskinvaren som faktisk skal brukes. En kraftigere skymodell gir heller ingen økonomisk fordel hvis ansatte må bruke mye tid på å rette svar som ikke passer oppgaven.

Tilgjengelighet har ulike begrensninger. En fullt lokal arbeidsflyt kan fortsette når internettforbindelsen faller bort, men virksomheten må selv håndtere utstyrsfeil, oppdateringer og mange samtidige forespørsler. Skybasert kapasitet kan tilpasses varierende trafikk uten et tilsvarende lokalt maskinkjøp, men er avhengig av forbindelse og leverandørens tjeneste.

Lav maskinpris betyr ikke lav kostnad per oppgave

En kostnadsstudie av lokal språkmodellkjøring beregner at små modeller kan nå kostnadsbalanse raskt i enkelte sammenligninger, mens store oppsett kan trenge langvarig, høy belastning. Nullpunktene bygger på antatt maskinvare, strømforbruk, tokenkapasitet og API-priser. Forskerne peker selv på at bemanning og vedlikehold bør inngå i en utvidet kostnadsmodell.

Dette skillet er viktig for en norsk virksomhet som ikke bruker maskinen jevnt. Kapasitet kjøpes for å tåle forventet belastning, mens de faktiske forespørslene kan komme i korte topper. Når lokal månedskostnad fordeles på token maskinen teoretisk kunne produsert, ser hver oppgave billigere ut enn når den fordeles på token som virkelig ble behandlet. Samtidig bruk kan dessuten øke ventetiden eller kreve mer utstyr.

Driftskompetanse må prises på begge sider, men oppgavene er forskjellige. Lokalt trengs arbeid med installasjon, oppdateringer, tilgang, overvåking og feilretting. Skybruk krever integrasjon, kostnadskontroll og oppfølging av leverandørvilkår, mens leverandøren drifter modellserveren. En sammenligning som utelater ansattes tid, undervurderer særlig løsningen som krever mest intern drift.

En TCO-mal i NOK for sammenlignbar bruk

Velg samme periode, oppgaver, krav til svartid og kvalitetsnivå for alternativene. Registrer forventede forespørsler og faktisk antall inn- og utdata-token per oppgave, samt tiden ansatte bruker på etterarbeid. Bruk samme grunnlag for merverdiavgift og regn alle poster om til NOK. Da sammenlignes kostnaden ved levert arbeid fremfor en maskinpris med en isolert API-pris.

• Lokal drift: Fordel innkjøp og installasjon over planlagt brukstid, med en realistisk restverdi. Legg til strøm ved belastning og tomgang, relevant strømpris og nettleie, eventuell kjøling, lisenser, vedlikehold og driftstimer multiplisert med intern timekostnad.
• Skybasert API: Multipliser faktisk antall inn-token og ut-token med hver sin pris. Ta med særskilt prisede token, verktøy, lagring og datatrafikk der de brukes, valutakurs til NOK og arbeidstid til integrasjon, sikkerhet og leverandøroppfølging.
• Felles resultatmål: Del månedskostnaden på antallet oppgaver som oppfyller kvalitetskravet. Før manuell retting som arbeidstid, og beregn lokal utnyttelse ut fra faktisk behandlet volum i stedet for maksimal tokenkapasitet.

Et illustrerende regnestykke viser betydningen av arbeidstid. Anta en maskin til 120 000 kroner fordelt over 36 måneder: Det gir omtrent 3 333 kroner per måned før drift. Et antatt forbruk på 0,8 kW i 160 timer til 1,50 kroner per kWh gir 192 kroner. Åtte driftstimer til en intern kostnad på 900 kroner timen gir ytterligere 7 200 kroner. Summen er omtrent 10 725 kroner per måned før vedlikehold og andre poster. Beløpene er valgte forutsetninger, ikke observerte norske markedspriser.

For API-alternativet må prisen knyttes til modellen og funksjonene som faktisk brukes. OpenAIs API-prisliste skiller mellom inn-data, mellomlagrede inn-data og utdata og viser egne priser for enkelte verktøy. Slike vilkår kan endres; valutakursen og forholdet mellom inn- og utdata-token påvirker også beløpet i NOK. Et anslag basert på bare én tokenpris vil derfor kunne skjule en vesentlig del av skyregningen.

Hybrid drift er et eget kostnadsalternativ

En hybrid løsning kan behandle bestemte dokumenter lokalt og sende andre oppgaver til en skytjeneste når dens modellkapasitet eller ferdige funksjoner gir verdi. Fordelingen bør følge både dataklasse og oppgave. Innhold som sendes til skyen, omfattes fortsatt av virksomhetens vurdering av leverandør, behandlingssted og avtalevilkår.

Før hybrid som et eget spor i TCO-malen: lokal maskin, strøm og driftstid, pluss API-bruk for oppgavene som faktisk sendes ut. Legg til tiden som brukes på å styre trafikken mellom løsningene og kontrollere at riktig innhold går riktig vei. Hybrid kan bli dyrere enn ren skybruk hvis den lokale delen er for liten til å bære faste kostnader; den kan også være nyttig når et tydelig avgrenset databehov gjør lokal behandling nødvendig.

Den avgjørende sammenligningen er kostnad per godkjent oppgave innenfor kravene til databehandling og svartid. Med faktisk utnyttelse, personelltid og API-volum i samme regnestykke blir det synlig hva virksomheten betaler for lokal kontroll, og når fleksibel skykapasitet eller en kombinasjon gir mer verdi.

Les også:

• Zapier eller Make: enkel oppstart kan bli den dyreste løsningen