Isikuandmed enne LLM-i: süsteemiprompt ei asenda redigeerimist

Enne töötaja või kliendi andmete saatmist pilve-LLM-ile eemalda ülesandeks mittevajalik teave ja asenda vajalikud identifikaatorid rakenduses püsivate kohatäidetega. OWASP-i juhis soovitab tundlikke andmeid enne mudelisse jõudmist puhastada: süsteemiprompti piirangut ei pruugita järgida ning sellest võib käsusüstiga mööda minna. Kui algne nimi on päringuga juba välja saadetud, ei saa mudelile antud avaldamiskeeld seda saatmist tagasi võtta.

Torustik peab hõlmama ka vastust ja telemeetriat. Kui kasutaja jaoks tuleb nimi vastuses taastada, hoia algväärtuse ja kohatäite vastendus mudelist eraldi ning taasta nimi alles pärast vastuse ja kasutaja õiguste kontrolli. Sama piiri tuleb rakendada logidele, kuhu toortekst võib sattuda enne puhastamist või pärast taastamist.

Vähenda sisendit enne tuvastamist

Määra esmalt, milliseid andmeid ülesanne tegelikult vajab. Kliendipöördumise vastuse mustandis võib probleemi kirjeldus olla vajalik, kuid kliendi nimi, isikukood ja kontaktandmed sageli mitte. Eemalda üleliigsed väljad andmeallikast või päringu koostamise kihis; nii ei sõltu kogu kaitse sellest, kas vabateksti tuvastaja iga väärtuse üles leiab.

Teadaoleva struktuuriga andmetes asenda nime või isikukoodi välja väärtus väljanime põhjal. Seejärel töötle vabatekst eraldi: pöördumise sisu, manusest eraldatud tekst, otsingutulemused ja varasem vestlusajalugu võivad kõik jõuda samasse mudelipäringusse. Kontroll peab käima tegeliku väljamineva päringu kohta, sest kasutaja uus sõnum ei pruugi näidata kogu kaasa pandud konteksti.

Tuvasta Eesti andmed koos kontekstiga

Eesti isikukoodi tuvastust kontrollitakse korrektse struktuuri ja vigaste vormingute näidetega.

Üks regulaaravaldis sobib vormingu kandidaatide leidmiseks, kuid ei tunne usaldusväärselt ära kõiki nimesid ega otsusta üksi, kas numbrijada on isikukood. Ühenda teadaolevate väljade reeglid, isikukoodi struktuuri kontroll, eestikeelse teksti nimede tuvastus ja ülesandepõhised erandid. Sama sõna võib eri lausetes tähistada inimest, ettevõtet või kohta; arvesse tuleb võtta ka välja päritolu.

Isikukoodi testides kontrolli numbrimustri kõrval sünniaja osa ja kontrollnumbrit. Koosta eraldi näited struktuurselt korrektsetest ning vigastest väljamõeldud koodidest, samuti tekstist, kus numbrite vahel on tühikud või kirjavahemärgid. Ära võta testandmeid päris klientide kirjetest. Vormingu järgi võimalikku koodi ei saa turvaliseks pidada ainult seetõttu, et üks tuvastaja selle tagasi lükkas.

Nimede jaoks lisa väljamõeldud eesti ees- ja perekonnanimed eri käänetes, liitnimed ja täpitähed. Pane osa nimesid aadressi, ametinimetuse või organisatsiooni kõrvale ning lisa tavalisi sõnu, mida tuvastaja võiks ekslikult nimeks pidada. Märgenda iga näites isikuandmeid sisaldav lõik ja võrdle väljundit märgenditega: nii eristuvad märkamata inimesed väärtustest, mille eemaldamine rikuks ülesande konteksti.

Kui kõrge riskiga töövoos jääb lõigu liigitus ebakindlaks, peata päring, küsi lühemat sisendit või suuna see kohalikku ülevaatusse. Otsuses arvesta korraga tuvastuse kindlust ja võimaliku andmeliigi mõju. Võimalikku isikukoodi ja ebakindlat kohanime pole põhjust käsitleda üheainsa lävendiga.

Asenda väärtused püsivalt, hoia vastendus eraldi

Kui mudel peab aru saama, et mitu lauset käivad sama inimese kohta, kasuta ühe päringu piires talle sama kohatäidet, näiteks ISIK_1. Teine inimene saab teise tähise. Selline asendus säilitab kokkuvõtte või vastuse jaoks vajaliku seose, ilma et algne nimi või isikukood peaks väljaminevas päringus olema.

Hoia kohatäidete vastendus piiratud ligipääsuga kohalikus teenuses või mälus, mitte süsteemiprompts ega mudelile saadetavas sõnumis. Seo see konkreetse päringu ja volitusega ning kustuta, kui taastamist enam vaja pole. Püsivus tähendab siin sama tähist ühe töövoo jooksul, mitte üht ja sama avalikku tunnust kõigis vestlustes. Ka asendatud nimega tekst võib inimese ära tunda lasta, kui alles jäävad haruldane amet, täpne asukoht ja eristuv sündmus.

Presidio ametlik näidiskogu sisaldab vastendusel põhinevat pseudonüümimist, krüptimist, struktureeritud andmete töötlust, LiteLLM-i vahendust ja telemeetria redigeerimist. Need näited annavad ehituskomponendid; eestikeelsete nimede tuvastus, isikukoodi reeglid ning vastenduse säilitusaeg tuleb määrata oma rakenduse jaoks.

Kontrolli vastust ja telemeetriat

Mudeli vastuse kohatäiteid kontrollitakse enne algväärtuste taastamist ning telemeetria ei sisalda toorandmeid.

Mudeli vastus võib korrata sisendisse jäänud tundlikku teavet, lisada ootamatu nime või kasutada kohatäidet vales kohas. Enne kuvamist käivita vastusel tuvastus ja veendu, et iga taastatav tähis kuulub just selle päringu vastendusse. Taasta algväärtus ainult vastuse osas, mida kasutajal on õigus näha; muutunud või eri inimeste vahel segunenud tähiste puhul peata automaatne taastamine.

Vaata läbi ka kogu logimistee. Päringukeha, mudelivastus, veateade, jälg ja silumislogi võivad sisaldada toorandmeid, kuigi mudelile saadetud sõnum oli puhastatud. Seadista tavapärane telemeetria talletama sündmuse tunnust, töötluse etappi, tuvastatud andmeliiki ja veakoodi, mitte sõnumi sisu ega vastendustabelit. Kontrolli eraldi vahenduskihti, seireteenust ja erandite käsitlejat, sest igaüks võib talletada päringust erineva koopia.

Mõõda lekkeid ja vastuse kasulikkust

Hinda torustikku märgendatud näidetel enne kasutuselevõttu ja pärast olulisi muudatusi. Mõõda märkamata väärtusi andmeliikide kaupa ning lisa valepositiivsed: liiga agressiivne asendus võib muuta kokkuvõtte arusaamatuks või lõhkuda viited sama inimese eri rollidele. Võrdle sama ülesande vastust algse ja puhastatud sisendiga ning kontrolli eraldi kohatäidete taastamist ja logide sisu.

LLM-Redactori uuringus oli kogu sünteetilises võrdlusandmestikus 1300 näidist ja 4014 märgendit; kohaliku suunamise, redigeerimise ning ümberfraasimise kombinatsiooni koondlekke määr isikuandmeid sisaldava töökoormuse puhul oli 0,6%. See tulemus puudutab meetodite kombinatsiooni, mitte redigeerijat eraldi. Uuringu tuvastaja töötas ingliskeelse materjaliga, seega tuleb Eesti nimede ja isikukoodide toimivust mõõta oma testikomplektil.

Täienda testikomplekti, kui rakendus hakkab vastu võtma uut tüüpi pöördumisi, manuseid või andmevälju. Hoia näited sünteetilised või kasuta selleks eraldi lubatud andmeid. Nii näitab mõõtmine ühtaegu, kas isikuandmed jäävad päringust välja ja kas mudel saab vajaliku töö endiselt tehtud.

Loe ka: