PaddleOCR vai Tesseract? Puhelinkuva kasvatti eron 24 pisteeseen

DocsAPI:n 500 asiakirjan OCR-vertailussa PaddleOCR:n PP-OCRv4-mallien merkkitarkkuus puhelimella kuvatuissa kuiteissa oli 82 prosenttia ja Tesseract 5.x:n 58 prosenttia: ero oli 24 prosenttiyksikköä. Siistissä konekirjoitetussa englannissa työkalut olivat käytännössä tasoissa. Kuitit ja muut vaikeat kuvat puoltavat siis PaddleOCR:ää, kun taas selkeän tekstisivun poimintaan Tesseract voi riittää.

Valinta kannattaa tehdä erikseen skannatulle tekstille, puhelinkuvatulle kuitille, taulukolle ja monikieliselle aineistolle. Vertailun luvut kuvaavat sen testiasiakirjoja ja siinä käytettyjä mallisukupolvia; ne eivät ole ennuste suomalaisen arkiston tarkkuudesta. Lisäksi kuittien merkkitarkkuus ja taulukollisten tiliotteiden rivikohtainen tulos mittaavat eri asioita. Mittauksen tekijä myy omaa asiakirjapalveluaan, joten luvut antavat suunnan, jonka merkitys on tarkistettava omalla aineistolla.

Siisti skannattu tekstisivu

Tesseract on luonteva lähtökohta, kun PDF-sivu on suorassa, painojälki erottuu ja lukujärjestys on yksinkertainen. Tesseractin projektikuvaus kertoo sen LSTM-pohjaisesta rivintunnistuksesta, yli sadan kielen tuesta sekä teksti-, PDF-, TSV-, ALTO- ja PAGE-tulosteista. Sama moottori voi siten tuottaa pelkän hakutekstin, haettavan PDF:n tai sanakohtaisia sijainteja jatkokäsittelyä varten.

Ennen OCR-ajoa kannattaa selvittää, onko PDF:ssä jo käyttökelpoinen tekstikerros. Sen sisältämä teksti voidaan poimia suoraan, jolloin kuvan uudelleenlukeminen vain lisää työtä ja saattaa tuoda virheitä. Kuvaksi tallennetussa sivussa tekstin tarkkuus ratkaisee, jos sisältö menee hakuun; lomakkeen kenttien poiminnassa tarvitaan lisäksi yhteys sanojen ja sivun kohtien välille.

TSV:n koordinaatit auttavat etsimään otsikon, summan tai päivämäärän alkuperäisestä näkymästä. Ne eivät kuitenkaan yksin määritä asiakirjan loogista rakennetta: samalla sivulla olevat sanat voivat kuulua eri palstoihin, kenttiin tai taulukon soluihin. Siksi siistin tekstisivun tasatulos ei vielä kerro, kumpi työkalu palauttaa käyttökelpoisemman aineiston monimutkaisesta PDF:stä.

Puhelimella kuvattu kuitti

Kuitissa syötteen laatu voi ratkaista enemmän kuin siistin sivun OCR-tulos. Vino kuva, varjo ja haalistunut lämpöpaperi heikentävät merkkien erottumista. Jos automaatio tarvitsee loppusumman, päivämäärän ja myyjän tiedot, koko sivun hyvä keskiarvo ei riitä: yksikin väärä numero tai väärään kenttään liitetty summa voi estää kuitin käsittelyn.

Tesseractin kuvanlaatuohje kuvaa, miten vinojen tekstirivien suoristus, kuvan riittävä tarkkuus ja epätasaisen taustan käsittely vaikuttavat tunnistukseen. Sen vuoksi alkuperäisen kamerakuvan ja esikäsitellyn kuvan tulokset kannattaa erottaa toisistaan. Jos kuitti rajataan ja suoristetaan toiselle moottorille, sama käsittely on annettava myös toiselle ennen kuin ero tulkitaan mallien ansioksi.

Esikäsittelyssä on silti rajansa. Voimakas mustavalkomuunnos voi hävittää haaleita numeroita, vaikka se poistaisi taustan varjoa; liian tiukka rajaus voi leikata summan tai päivämäärän pois. Kuittien vertailussa hyödyllisin lisämittari on siksi kriittisten kenttien täsmällisyys. Se kertoo merkkitarkkuutta suoremmin, meneekö tieto oikein talousjärjestelmään.

Taulukko tarvitsee myös rakenteen

Taulukollisessa asiakirjassa oikeat sanat eivät vielä muodosta oikeita rivejä. Tesseractin sijaintitiedoista voi rakentaa oman sarakejaon, jos lomake on vakioitu ja sarakkeet pysyvät paikoillaan. Monisivuisessa tiliotteessa otsakerivin toistuminen, rivin jatkuminen seuraavalle sivulle ja vaihtelevat sarakeleveydet tekevät tällaisista säännöistä vaikeampia ylläpitää.

PaddleOCR:n PP-StructureV3-putki sisältää erillisen sivurakenteen ja taulukoiden tunnistuksen sekä mahdollisuuden tallentaa taulukoita HTML- ja XLSX-muotoon. Sen taulukkotuloksessa on myös solujen sijaintitietoja. Rakenteinen tuloste edellyttää oikean putken käyttöä: pelkän tekstintunnistusmallin vaihtaminen PaddleOCR:ään ei automaattisesti tuota käyttökelpoista taulukkoa.

Taulukkotehtävässä onnistuminen tarkoittaa, että summa pysyy oikean tapahtuman ja sarakkeen kohdalla. Sivukohtainen taulukon tunnistus voi edelleen vaatia omaa logiikkaa, jos tapahtumat jatkuvat sivulta toiselle. Julkaistun moottorivertailun tiliotetulosta ei pidä tulkita erillisen PP-StructureV3-putken suorituskykyluvuksi, sillä kyse on eri kokoonpanon ja eri mittarin arvioinnista.

Suomi ja ruotsi vaativat oikean mallin

Monikielisessä aineistossa tuotteen yleinen kielituki kertoo vähemmän kuin ajossa valittu tunnistusmalli. PaddleOCR:n PP-OCRv5:n kielimalliluettelo sijoittaa suomen ja ruotsin latin_PP-OCRv5_mobile_rec-mallin tukemiin kieliin; erillinen englannin malli on eri valinta. Tesseractissa kieli valitaan asennetuista kieliaineistoista ajon asetuksella. Kummankin kokoonpano on siis kirjattava vertailuun, jotta samannimisiä työkaluja ei mitata eri kielioletuksilla huomaamatta.

Julkaistun vertailun monikielinen ryhmä yhdisti englannin mandariinikiinaan tai espanjaan. Sen perusteella voi odottaa kielivalinnan vaikuttavan tulokseen, mutta siitä ei saa suomenkielisen tekstin virheprosenttia. Suomessa erityistä huomiota ansaitsevat ä, ö ja ruotsin å, pitkät yhdyssanat sekä numerot samassa asiakirjassa. Jos virhe osuu tuotenumeroon tai viitenumeroon, hyvännäköinen tekstikappale ei pelasta automaattista käsittelyä.

Samalla sivulla voi olla suomea, ruotsia ja englantia. Tällöin yhden kieliasetuksen onnistuminen otsikossa ei kerro, tunnistuuko muu sisältö yhtä hyvin. Vertailutekstiin kannattaa sisällyttää todellisia nimiä ja termejä sekä lyhyitä merkkitestejä, kuten ”yö” ja ”työ”. Ne paljastavat diakriittisten merkkien virheitä, mutta päätös pitää tehdä varsinaisilla asiakirjoilla.

Pieni vertailu omilla asiakirjoilla

Toistettava valinta syntyy pienestä, käsin tarkistetusta joukosta, jossa on erikseen siistejä skannauksia, puhelinkuvattuja kuitteja, taulukoita ja monikielisiä sivuja. Mukaan kannattaa ottaa tavallisten tapausten lisäksi aidosti hankalia sivuja: vino kuitti, haalea tuloste ja taulukko, joka jatkuu sivunvaihdon yli. Merkitse oikea teksti ja tärkeät kentät ennen ajoa. Näin kummankin moottorin tulosta verrataan samaan vastaukseen eikä niiden keskinäiseen samankaltaisuuteen.

Aja työkalut samoilla lähtökuvilla ja kirjaa malliversio, kieli, esikäsittely sekä mahdollinen rakenteentunnistus. Mittaa tekstistä merkkivirheet, kuitista olennaisten kenttien täsmällisyys ja taulukosta rivien sekä sarakkeiden kohdistuminen. Käsittelyaika on mitattava samalla laitteistolla ja samalla kuormalla, sillä yksittäisen julkaistun testin nopeus ei kuvaa oman palvelimen kapasiteettia.

Jos siistit sivut täyttävät laatuvaatimuksen Tesseractilla mutta puhelinkuvat ja taulukot hyötyvät PaddleOCR:n sopivasta putkesta, asiakirjat voi ohjata eri käsittelypolkuihin. Ratkaisu perustuu silloin siihen, mitä kustakin aineistosta täytyy saada talteen: hakukelpoiseen tekstiin, täsmällisiin kuittikenttiin tai luotettavaan taulukkorakenteeseen.

Lue myös:

• DeepL vai Google Kääntäjä? Suomen sijamuodot paljastavat eron
• Stripe vai Paddle? Verovastuu voi syödä halvemman maksun edun
• Qdrant vai pgvector? Neljän miljoonan vektorin testi paljasti viive-eron