Presidio sau detector LLM: precizia de 0,15 arată costul falselor alarme

În testul CRAPII pe scrieri studențești dintr-un curs universitar american, pentru nume de studenți, URL-uri personale, e-mailuri și telefoane, Presidio cu en_core_web_lg a avut precizie 0,1505 (aproximativ 0,15), acoperire 0,7103 și 11.597 alarme false; GPT-4o-mini ghidat prin prompt a avut precizie 0,6593, acoperire 0,7781 și 1.163 alarme false, dar a omis 642 de entități. Diferența arată câtă muncă poate ascunde un detector care semnalează multe fragmente, chiar dacă găsește și date reale.

Presidio este o alegere utilă când echipa poate defini tipare și poate controla recunoscătoarele folosite; un detector LLM merită comparat când sensul expresiei depinde mult de context. Nici rezultatul mai precis al modelului cu prompt, nici scorul Presidio din acel experiment nu înlocuiesc măsurarea pe documentele și limba organizației din România sau Republica Moldova.

Cât costă o alarmă falsă

Precizia este proporția semnalărilor care corespund unor date personale reale. La o precizie de aproximativ 0,15, calculul arată că, din o sută de semnalări cu aceeași distribuție a erorilor, circa optzeci și cinci ar fi false. Acesta este sensul operațional al cifrei: dacă un om verifică fiecare rezultat, alarmele consumă timp; dacă sistemul maschează automat, elimină și cuvinte de care textul are nevoie.

Acoperirea, numită și recall, arată ce parte dintre entitățile existente a fost găsită. O omisiune lasă datele în documentul rezultat, astfel încât un flux de publicare sau de pregătire a datelor poate transmite mai departe informația pe care trebuia să o protejeze. Costul celor două erori depinde de flux: o mască greșită afectează utilitatea, iar o omisiune afectează protecția. De aceea, aceeași precizie poate fi acceptabilă într-un sistem cu revizuire umană și greu de acceptat într-unul care publică direct ieșirea.

Ce compari când spui Presidio sau LLM

Presidio Analyzer combină recunoscătoare predefinite și personalizate care folosesc expresii regulate, recunoașterea entităților numite și alte reguli. Prin urmare, comparația nu opune reguli unui sistem lipsit de modele lingvistice: configurația Presidio testată includea en_core_web_lg, un model pentru limba engleză. În practică, tiparele explicite sunt atractive pentru formate stabile, iar modelul lingvistic poate ajuta la nume și expresii al căror sens se schimbă odată cu fraza.

Detectorul GPT-4o-mini din comparație a primit instrucțiuni și exemple prin prompt; o altă formulare sau un model ajustat pe date adnotate ar constitui altă configurație. Presidio își schimbă și el rezultatul când se modifică modelul NER, recunoscătoarele ori pragurile. Avantajul observat pe scrieri studențești nu stabilește ordinea dintre instrumente pentru cereri ale clienților, conversații de asistență sau formulare în română. În aceste texte pot apărea alte tipuri de identificatori, alte convenții de redactare și alte ambiguități ale numelor.

Matricea de confuzie decide ce metrică contează

Pentru fiecare configurație, matricea separă identificările corecte, alarmele false și entitățile omise. Precizia împarte identificările corecte la toate semnalările; acoperirea le raportează la toate entitățile care trebuiau găsite. Un scor agregat poate ordona variantele, dar nu spune singur câte fragmente va revizui un operator sau câte date personale rămân în text după mascarea automată.

Ghidul oficial Presidio pentru evaluare recomandă precizia, acoperirea și scorul F-beta pentru cazul de utilizare concret; când omisiunile cântăresc mai mult, propune F2, care acordă acoperirii o pondere mai mare. Alegerea ponderii este o decizie de risc, nu o proprietate universală a detectorului. Pentru o ieșire publicată fără control uman, limita admisă a omisiunilor poate domina selecția; pentru un flux în care toate alertele sunt verificate, volumul alarmelor false intră direct în capacitatea echipei.

Pragul și unitatea de numărare schimbă rezultatul

Ridicarea pragului de acceptare elimină semnalări cu scor mic și poate crește precizia, dar riscă să elimine și identificări corecte. Configurația AnalyzerEngineProvider permite praguri generale, pe recunoscător și pe tip de entitate, precum și un prag transmis la cerere care le poate suprascrie. Pragurile trebuie comparate pe aceleași texte și cu aceleași etichete; un scor intern Presidio și o apreciere verbală produsă de un LLM nu sunt aceeași scară. Pentru LLM, modificarea promptului sau adăugarea unei verificări reprezintă variante noi, care se evaluează separat.

Contează și ce se consideră o potrivire. Metoda Presidio Evaluator pentru fragmente compară limitele textuale ale entităților și poate calcula scoruri pentru fiecare tip sau pentru categoria globală „date personale”. Dacă adnotarea cuprinde numele complet, iar detectorul marchează doar prenumele, o potrivire permisivă poate arăta bine deși masca lasă vizibil restul numelui. Nivelul de evaluare trebuie să urmeze ieșirea necesară: doar prezența unei date personale, tipul corect sau fragmentul exact care va fi eliminat.

Un test local care susține alegerea

Începeți cu documente reale din fluxul vizat, redactate în română și reprezentative pentru ambele piețe, inclusiv texte fără date personale. Stabiliți în prealabil ce categorii protejați și cum marcați limitele fiecărei entități; un nume, o adresă de e-mail și un identificator cu format local nu pun aceeași problemă. Păstrați documentele pentru reglaj separat de cele pe care raportați rezultatul final, ca să nu alegeți configurația după aceleași exemple pe care o evaluați.

1. Adnotați manual un eșantion și arbitrați dezacordurile privind tipul sau lungimea fragmentului. Notați explicit dacă un text conține mai multe entități și dacă un fragment poate primi mai mult de o interpretare.
2. Rulați fiecare configurație pe același set rezervat evaluării. Raportați matricea globală și rezultatele pe tipuri de date; o medie bună poate ascunde omisiuni tocmai la identificatorii pe care fluxul trebuie să îi protejeze.
3. Comparați pragurile sau variantele de prompt pe setul de reglaj, apoi fixați alegerea înainte de evaluarea finală. Măsurați timpul necesar revizuirii alarmelor false și inspectați fragmentele rămase după mascare, nu doar scorul detectorului.

Dacă alarmele false consumă capacitatea de revizuire, configurația mai precisă poate fi preferabilă, cu condiția ca nivelul omisiunilor să rămână acceptabil pentru destinația textului. Dacă orice scăpare poate ajunge direct într-un document public, acoperirea și controlul ieșirii cântăresc mai mult.

Citește și:

• Riverside sau Descript: înregistrarea locală poate conta mai mult decât editarea
• Ko-fi sau Buy Me a Coffee: bacșișul unic poate elimina comisionul de 5%
• Bitwarden sau 1Password: planul ieftin nu câștigă fără recuperare bună