Fjarlægðu persónugögn fyrir mállíkanið — staðgenglar halda samhengi

Hreinsaðu skjalið áður en það fer í kall til skýjamállíkans: finndu nöfn, netföng, símanúmer og kennitölur í eigin kerfi, skiptu þeim út fyrir staðgengla og sendu aðeins hreinsaðan texta. Leiðbeiningar Berkeley Lab lýsa þessu flæði og mæla með að tafla sem tengir staðgengla við frumgögn sé geymd staðbundið þegar endurtenging er nauðsynleg.

Stöðugur staðgengill á borð við [NAFN_001] sýnir líkaninu að sama gildi kemur aftur fyrir án þess að afhjúpa gildið sjálft. Ef niðurstaðan þarf að tengjast tilteknum einstaklingi fer sú tenging fram eftir að svarið berst, innan eigin kerfis. Þetta varðveitir tilvísanir í textanum, en aðeins að því marki sem greiningin finnur rétt gildi og útskiptingin notar sama auðkenni fyrir þau.

Hreinsaðu allt sem getur farið í útsendingu

Settu síuna á mörkin milli innri vinnslu og útsends líkankalls. Hún þarf að vinna á þeim texta sem verður raunverulega sendur: meginmáli, útdrætti úr viðhengjum og texta sem myndgreining hefur lesið úr skönnuðum skjölum. Athugaðu líka hvort frumtexti eða tengingartafla fari óvart í villuskilaboð, rekjanleikagögn eða annála API-biðlarans. Hreinsun á einu skjalasviði dugir ekki ef annað svið fer óbreytt með sömu beiðni.

Reglulegar segðir geta fundið afmörkuð snið, til dæmis netföng og talnarunur. Mannanöfn, heimilisföng og upplýsingar sem auðkenna einstakling aðeins í samhengi krefjast víðari greiningar. OpenAI Privacy Filter er líkan með opnum vigtum sem má keyra staðbundið til að greina og fela persónuupplýsingar í texta. Það er valkostur fyrir greiningarþrepið, en hegðun þess þarf að meta á þeim íslensku skjölum og gagnategundum sem kerfið á að vinna með.

Láttu greinarann skila textabili og tegund fyrir hvert fundið gildi áður en útskipting hefst. Þá er hægt að leysa skörun milli reglna, til dæmis ef hluti kennitölu líkist símanúmeri, og skipta út frá enda textans án þess að fyrri breyting færi staðsetningu seinni samsvörunar. Séu margar greiningaraðferðir sameinaðar þarf ein niðurstaða að ráða fyrir hvert textabil.

Veldu milli eyðingar, staðgengils og endurtengingar

Ef líkanið þarf hvorki að greina milli einstaklinga né skila niðurstöðu til ákveðinnar færslu má fjarlægja gildið alveg. Almennur staðgengill, svo sem [NAFN], varðveitir gagnategundina en sýnir ekki hvort tvær tilvísanir eigi við sama gildi. Stöðugir, tegundamerktir staðgenglar varðveita þann mun: sama greinda nafnið fær sama auðkenni innan vinnslunnar og annað nafn fær annað.

Taflan sem tengir [NAFN_001] við upprunalega nafnið er sjálf viðkvæm. Geymdu hana í minni eða varinni geymslu innan eigin kerfis og takmarkaðu aðgang að henni. Ekki setja hana í fyrirmæli til líkansins eða með öðrum gögnum sem fylgja beiðninni. Afmarkaðu líka hversu lengi auðkennin gilda; ef sama tafla er notuð í ótengdum verkefnum geta staðgenglar tengt saman upplýsingar sem áttu að vera aðskildar.

Stöðugleiki í einfaldri útfærslu byggist á nákvæmlega sama textagildi. Nafn í annarri beygingarmynd eða kennitala með breyttu bandstriki getur því fengið annað auðkenni þótt átt sé við sama aðila. Ef slíkar tilvísanir þurfa að sameinast verður að ákveða samræmingarreglu fyrir útskiptingu og prófa sérstaklega hvort hún sameini ólíka einstaklinga fyrir mistök.

Keyranlegt dæmi með íslenskum prófgögnum

Samkvæmt skýringu Þjóðskrár Íslands er kennitala tíu tölustafir og er bandstrik oft sett á eftir fyrstu sex. Leit að útliti kennitölu þarf því að taka við báðum ritháttum. Sniðleit staðfestir hins vegar hvorki að talnarunan sé gild kennitala né að hún tilheyri einstaklingi; hún er hér notuð til varfærinnar útskiptingar.

Eftirfarandi einlínu má líma í Python-túlk. Dæmið notar tilbúið nafn, netfang og símanúmer. Talnarunan 321399-9999 hefur ómögulegan fæðingardag og er aðeins prófgildi í kennitölusniði. Nafnareglan þekkir vísvitandi aðeins nafnið í dæminu, svo kóðinn er sýning á staðgenglum en ekki almenn íslensk nafnasía.

import re; s='Sólveig Dæmadóttir, kt. 321399-9999, sími 000 0000, netfang [email protected]. Sólveig Dæmadóttir svarar.'; d={}; p=r'(?P<NETFANG>[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Za-z]{2,})|(?P<KT>(?<!\d)\d{6}-?\d{4}(?!\d))|(?P<SIMI>(?<!\d)(?:\+354[ -]?)?\d{3}[ -]?\d{4}(?!\d))|(?P<NAFN>Sólveig Dæmadóttir)'; clean=re.sub(p,lambda m:d.setdefault((m.lastgroup,m.group()),f'[{m.lastgroup}_{1+sum(k[0]==m.lastgroup for k in d):03d}]'),s); print(clean)

Úttakið er „[NAFN_001], kt. [KT_001], sími [SIMI_001], netfang [NETFANG_001]. [NAFN_001] svarar.“ Orðabókin d heldur tengingu milli hvers fundins gildis og staðgengils þess meðan forritið keyrir. Það er breytan clean sem má fara í líkankallið; s og d eiga að vera innan staðbundinnar vinnslu. Sé þörf á endurtengingu eftir svar skal aðeins nota staðgengla sem tilheyra þessari vinnslu og eru til í töflunni.

Prófaðu leka og óþarfa felun hvort í sínu lagi

Búðu til merkt prófasafn sem líkist skjölunum sem á að vinna með. Fyrir hvert sýni þarf að skrá hvaða textabil eru persónugögn, hvaða texti á að haldast og hvaða endurteknu gildi eiga að fá sama staðgengil. Prófaðu bæði hreinsaðan texta sem fer í beiðnina og endurtengingu svara sem koma til baka:

• Íslenskt nafn sem endurtekur sig, nafn í beygingarmynd og áður óþekkt nafn. Athugaðu sérstaklega hvort áður óþekkt nafn sleppi í gegn.
• Kennitölusnið með og án bandstriks ásamt tíu stafa talnarunu sem á ekki að túlka sem persónuauðkenni. Sniðregla getur bæði falið of mikið og misst af öðru rithætti.
• Símanúmer með landsnúmeri, bili eða bandstriki og óskylt skjalnúmer með svipuðu útliti. Prófaðu að styttri samsvörun sé ekki tekin úr lengri talnarunu.
• Netfang sem kemur oftar en einu sinni fyrir og texta sem líkist netfangi en stenst ekki reglur kerfisins.
• Svar þar sem líkanið endurraðar staðgenglum, sleppir þeim eða býr til streng sem líkist staðgengli. Endurtengdu aðeins þekkt auðkenni úr réttri vinnslu.

Teldu annars vegar fölsk neikvæð tilvik, þar sem persónugögn fara óhulin út, og hins vegar fölsk jákvæð tilvik, þar sem gagnlegur texti hverfur að óþörfu. Farðu handvirkt yfir frávik því eitt óhulið nafn eða auðkenni skiptir máli þótt flestar samsvaranir séu réttar. Endurtaktu prófin þegar skjöl, greiningarreglur eða líkan breytast. Óbein auðkenni, svo sem sjaldgæft starfsheiti ásamt nákvæmri atburðalýsingu, þurfa einnig mat þótt öll skýr snið hafi verið falin.

Lestu einnig:

• Slack eða Teams: ódýrara valið ræðst af hugbúnaðinum sem er fyrir
• Whisper eða Google fyrir íslenskt tal: stuðningur tryggir ekki nákvæmni
• NIST vill varanlegt auðkenni en skammlífa lykla fyrir gervigreindarfulltrúa