Пред да испратите документ до AI, Presidio мора да се тестира на вашиот јазик

8 октомври 2026 г., во 09:00|Автор: Уредувачки тим на QUASA|5 мин. читање| 1

Личните податоци отстранете ги или заменете ги локално, пред текстот од документот да стигне до надворешен AI-модел. Со Presidio прво се откриваат ентитетите, потоа се применува избраниот оператор, а на крај се проверува излезот. За македонски текст, процесот не е подготвен за употреба додека не измерите што препознавачите пропуштаат во вашите документи: неоткриеното име ќе помине во излезот непроменето.

Упатството на Presidio за јазици наведува дека стандардната поставка има модели и препознавачи за англиски; за друг јазик се прилагодуваат јазичниот модел и препознавачите, вклучително и контекстните зборови. Затоа македонски документ не треба да се испраќа само затоа што алатката успешно отстранила неколку лесно препознатливи адреси на е-пошта.

Задржете го оригиналот во локалниот процес

Извлекувањето текст, откривањето и замената поставете ги во средина што ја контролира организацијата. Надворешниот модел добива само верзија што ја поминала проверката. Ако документот е скениран, оптичкото препознавање мора да се изврши пред анализата: инаку податоците остануваат во сликата, иако текстуалниот слој изгледа исчистен.

Проверете што точно се испраќа во барањето до моделот. Покрај телото на текстот, името на датотеката, прилозите или метаподатоците може да содржат лични детали; замената во главниот текст не ги менува автоматски. За сумирање договор, како условен пример, роковите и обврските може да останат, додека имињата и контактите се заменуваат пред испраќање.

Направете македонски тест-корпус

Составете заштитен примерок од типовите текст што навистина влегуваат во процесот: договори, барања, преписки или други ваши документи. Вклучете имиња на кирилица и латиница, мешан запис, адреси, телефонски броеви, е-пошта и локални идентификатори. Во примерите ставете и зборови што личат на имиња, но означуваат улица или институција, за да се види и непотребното бришење.

Овластено лице рачно го означува почетокот, крајот и видот на секој личен ентитет. Таа верзија служи како мерило за откривањето и останува локално. Одвојте дел од примерите за подесување на правилата и друг дел за конечен тест; ако ги користите истите реченици за двете цели, резултатот ќе биде претерано оптимистичен.

Тестот треба да ги содржи и форматите што најлесно се пропуштаат во вашата работа: скратени имиња, адреси со различен редослед на зборовите и идентификатори вметнати во слободен текст. Ако скенирани документи се дел од процесот, вклучете ги и по локално извлекување текст. Запишете дали пропустот настанал при читањето на сликата или при откривањето на ентитетот; поправката зависи од таа разлика.

Прилагодете ги препознавачите, па изберете оператор

Проверете кои видови податоци постојната поставка ги наоѓа во означениот корпус. За повторливи локални имиња или термини може да помогне контролиран речник, а за идентификатори со позната структура — правило со дополнителна проверка на форматот. Речникот не опфаќа ново лице што првпат се појавува во документ, а правило што гледа само должина на број може да означи и број на предмет.

Кога откривањето е подесено, определете ја обработката по вид ентитет. Документацијата за Presidio Anonymizer опишува дека модулот ги добива веќе откриените ентитети и ги поддржува операторите replace, redact, hash и encrypt. Следната поставка е условен пример за текст што треба да ја зачува смислата на барањето, но да го отстрани идентитетот на подносителот:

За PERSON, replace го менува откриеното име во ознака „ЛИЦЕ“, така што улогата во реченицата останува видлива.
За идентификатор што не е потребен за задачата, redact целосно го отстранува откриениот дел.
За EMAIL_ADDRESS, hash создава хеш-вредност; ако треба да се поврзат записи со истата адреса, однапред одлучете дали такво поврзување е оправдано.
За поле што овластен внатрешен процес мора подоцна да го врати, encrypt го шифрира откриениот дел, а клучот останува одделен од барањето до моделот.

При hash, Presidio стандардно создава случајна сол за секој ентитет, па иста адреса може да даде различни хеш-вредности. Постојана сол овозможува повторно поврзување на записите, но мора безбедно да се чува и ја зголемува можноста за поврзување со лице. Шифрираниот дел може да се врати со клучот; и тој излез бара контрола на пристап, наместо претпоставка дека секој ризик исчезнал.

Измерете што било пропуштено

Споредете ги резултатите од откривањето со рачно означените ентитети. Recall е уделот на вистинските лични ентитети што системот ги пронашол: бројот на точно откриени ентитети поделен со бројот на сите означени ентитети. Пресметајте го одделно за имиња, адреси, идентификатори и други важни категории. Заедничка оценка може да го сокрие слабиот резултат кај една категорија.

Потоа рачно прочитајте го обработениот излез и означете ги преостанатите лични детали, како и замените што го нарушиле значењето. Истражувањето Anonymous-by-Construction ги оценува техниките истовремено според приватноста, зачуваната семантика и корисноста за последователни задачи. За вашата задача тоа значи да проверите дали моделот сè уште може да ги извлече потребните рокови или обврски од обработениот текст, без да ги види личните имиња.

Поставете правило за запирање кога извлекувањето текст не успеало, кога важна категорија останала непроверена или кога рачниот преглед открил пропуштен податок. По промена на образецот, речникот или јазичната поставка, повторете го тестот на одвоениот македонски примерок пред обработените документи повторно да се испраќаат автоматски.

Прочитајте и:

Сподели: