Docling vai Marker? RAG-jäsentely ratkaisee valinnan

Docling on luonteva lähtökohta RAG-putkeen, jos aineistossa on useita tiedostomuotoja tai haluat pilkkoa asiakirjat niiden rakenteen perusteella. Marker sopii vertailun lähtökohdaksi etenkin tekstipohjaisille PDF-tiedostoille: sen fast-tila hyödyntää PDF:n tekstikerrosta ja käyttää kuvantunnistusta tarpeen mukaan. Kumpaakaan valintaa ei voi ratkaista pelkästä muunnostuloksesta, sillä haku käyttää lopulta muunnetusta sisällöstä muodostettuja paloja.

Skannaus, monipalstainen asettelu ja taulukot voivat muuttaa järjestystä. Oikea numero voi olla muunnetussa tekstissä mutta joutua eri hakupalaan kuin sitä selittävä sarakeotsikko. Silloin ongelma näkyy vasta kysymyksen vastauksessa, vaikka PDF näyttäisi silmämääräisesti muuntuneen onnistuneesti.

Syöttömuodot erottavat työkalujen työnkulut

Doclingin muotoluettelo kattaa PDF:n lisäksi muun muassa Office- ja OpenDocument-tiedostot, HTML:n, CSV:n ja kuvat. Ääni- ja videotiedostojen käsittely edellyttää erillisiä riippuvuuksia; videosta litteroidaan ääniraita. Syötteet muunnetaan yhteiseen DoclingDocument-rakenteeseen, jonka voi viedä esimerkiksi Markdownina, HTML:nä, JSONina tai RAG-paloina JSONL-muodossa.

Yhteinen asiakirjarakenne helpottaa työnkulkua, jossa samaan hakemistoon tuodaan PDF-ohjeita, esityksiä ja taulukkotiedostoja. Se antaa myös mahdollisuuden päättää pilkkomisesta ennen kuin sisältö on pelkkää tekstiä. Laaja muototuki ei silti kerro, kuinka hyvin yksittäisen tiedoston lukujärjestys, otsikot tai taulukot palautuvat.

Marker-projektin dokumentaatio luettelee PDF:n, kuvien, DOCX-, PPTX- ja XLSX-tiedostojen sekä HTML:n ja EPUBin tuen. Muiden kuin PDF-tiedostojen käsittelyyn asennetaan lisäriippuvuuksia. Ulostuloksi saa Markdownia, HTML:ää, JSONia tai chunks-muodon: JSON kuvaa sivut ja sisältölohkot puuna, kun taas chunks kokoaa sivujen ylimmän tason lohkot listaksi. Jälkimmäinen helpottaa RAG-käsittelyä, mutta ei yksin ratkaise, mitkä lohkot kannattaa yhdistää samaan hakupalaan.

Digitaalinen PDF ja skannaus tarvitsevat eri asetukset

Markerin fast-tila käyttää kevyttä asetteluntunnistusta ja PDF:n tekstikerrosta; puhtaassa digitaalisessa PDF:ssä ilman yhtälöitä se ei käynnistä kuvamallipalvelinta. Balanced-tila käyttää Surya-kuvamallia asetteluun ja käsittelee ongelmallista tekstiä sekä matemaattista sisältöä perusteellisemmin. Nämä ovat projektin kuvaamia toimintatapoja, eivät lupaus siitä, että balanced tuottaisi paremmat RAG-vastaukset jokaisella aineistolla.

Skannatulla sivulla käyttökelpoinen tekstikerros voi puuttua. Markerin --disable_ocr poistaa kuvamallikutsut ja jättää skannatut sivut sekä yhtälöt käsittelemättä, joten sitä ei pidä käyttää, jos vastauksen kannalta olennainen tieto voi sijaita kuvassa. Fast-tila voi käyttää kuvamallia skannatuille tai muuten huonosti luettaville sivuille; asetuksen nimi ei siis tarkoita OCR:n poistamista.

Paikallinen ajo riippuu myös valituista lisäpalveluista. Markerin perusputkessa Surya-kuvamalli voidaan ajaa paikallisella päättelypalvelimella, mutta valinnainen --use_llm käyttää oletusarvoisesti ulkoista Gemini-palvelua, ellei taustapalveluksi määritetä esimerkiksi paikallista Ollamaa. Projektin koodi ja mallipainot ovat eri käyttöehtojen piirissä, mikä on olennainen ero kaupallista käyttöönottoa suunniteltaessa.

Taulukoissa ratkaisee otsikon ja arvon yhteys

Taulukon onnistumista ei voi arvioida pelkällä tunnistettujen numeroiden määrällä. RAG-vastauksen kannalta sarakeotsikon, rivin nimen, mittayksikön ja soluarvon on pysyttävä yhdistettävissä. Jos taulukko katkeaa palarajalla, hakutulos voi sisältää oikean arvon ilman tietoa siitä, mitä arvo mittaa.

Doclingin PDF-asetuksissa voi vaihtaa, kohdistetaanko tunnistettu taulukkorakenne PDF:stä luettuihin soluihin vai käytetäänkö rakennemallin ennustamia tekstisoluja. Ohje kuvaa jälkimmäisen vaihtoehdon keinoksi tilanteeseen, jossa sarakkeet sulautuvat virheellisesti yhteen. TableFormerille on lisäksi FAST- ja ACCURATE-tila; asetusten hyöty pitää arvioida vaikeilla taulukoilla samasta aineistosta.

Markerissa digitaaliset taulukot rakennetaan ensisijaisesti PDF:n tekstikerroksesta, kun taas skannatut ja epävarmasti palautuneet taulukot voivat ohjautua kuvamallille. Työkalujen omat taulukkoasetukset siis vaikuttavat eri kohdissa työnkulkua. Suomalaisessa koeaineistossa kannattaa tarkistaa erikseen esimerkiksi ääkköset, pienet alaviitteet ja taulukot, joissa otsikko ulottuu usean sarakkeen yli; tämä on testisuositus, ei väite kummankaan työkalun suomenkielisestä tarkkuudesta.

Pilkkominen määrää, mikä päätyy samaan hakutulokseen

Doclingin pilkkomiskuvaus erottaa Markdown-viennin jälkeisen oman pilkkomisen suoraan DoclingDocument-rakenteella toimivista pilkkojista. HybridChunker aloittaa hierarkkisista paloista, jakaa tokenrajan ylittävät palat ja voi yhdistää lyhyitä peräkkäisiä paloja, joilla on sama otsikkokonteksti. Jaetun taulukon otsikkorivi voidaan toistaa myöhemmissä paloissa, jolloin arvojen yhteys sarakkeisiin säilyy helpommin.

Pelkkään merkkimäärään perustuva jako voi katkaista kappaleen sen väliotsikosta tai sijoittaa taulukon otsikon eri palaan kuin arvot. Rakenteinen JSON ja lohkopohjainen ulostulo antavat mahdollisuuden säilyttää otsikkopolku, sivuyhteys ja taulukon rajat jatkokäsittelyssä. Ne eivät kuitenkaan tee sitä automaattisesti kaikissa RAG-putkissa: indeksoinnin on tallennettava tarvittava konteksti, ja palakoko on sovitettava käytettyyn hakumalliin sekä kysymysten laajuuteen.

Tutkimustulos koskee kokonaista RAG-putkea

Vuonna 2026 julkaistun PDF:stä RAG-aineistoksi -tutkimuksen tarkistetussa versiossa verrattiin muunnos- ja pilkkomisratkaisuja portugalilaisilla hallinnollisilla asiakirjoilla. Tutkimuksen paras automaattinen vastaustarkkuus oli 94,1 prosenttia kokoonpanolla, jossa käytettiin Doclingia, hierarkkista pilkkomista ja kuvakuvauksia. Luku kuvaa tätä kokoonpanoa ja tutkimusaineistoa, ei Doclingin yleistä tarkkuutta.

Tutkimuksessa metatiedon rikastaminen ja rakenteen huomioiva pilkkominen vaikuttivat vastaustarkkuuteen enemmän kuin muunnostyökalun valinta yksin. Erityisesti taulukkoon perustuvat kysymykset erottivat pilkkomistapoja. Tulos antaa syyn verrata kokonaisia työnkulkuja samoilla kysymyksillä, mutta portugalilaisista hallintoasiakirjoista saatu tarkkuus ei ole ennuste suomalaisille skannauksille tai teknisille käsikirjoille.

Valitse kokeen lähtökohta aineiston mukaan

Puhdas, tekstipohjainen PDF: aloita Markerin fast-tilasta. Tarkista, säilyvätkö palstat, väliotsikot ja mahdolliset taulukot myös indeksoitavissa paloissa.
Skannattu aineisto: pidä OCR käytössä kummassakin työkalussa ja vertaa lukujärjestystä sekä kysymyksissä tarvittavien arvojen tunnistumista.
Taulukkopainotteinen PDF: vertaa Doclingin rakenteista ulostuloa ja taulukkoasetuksia Markerin JSON-lohkoihin. Ratkaisevaa on, pysyykö otsikko mukana siinä palassa, jonka haku löytää.
Useita syöttömuotoja: aloita Doclingin yhteisestä asiakirjamallista. Marker on vertailukelpoinen niille muodoille, joita sen asennus ja lisäriippuvuudet tukevat.

Pieni koe erottaa jäsennyksen ja haun virheet

Poimi kustakin tärkeästä asiakirjaryhmästä muutama edustava tiedosto ja kirjoita kysymyksiä, joiden oikea vastauskohta tunnetaan. Ota mukaan tavallinen tekstikappale sekä aineiston mukaan skannattu kohta ja taulukon solu. Merkitse oikea sivu ja sisältölohko etukäteen, jotta näet, katoiko tieto muunnoksessa vai löytyikö se huonosti vasta haussa.

Muunna samat tiedostot molemmilla työkaluilla ja kirjaa käytetty tila, OCR-asetus sekä ulostulomuoto.
Tarkista muunnetusta sisällöstä lukujärjestys, otsikkopolku, taulukon otsikkorivi ja vastausarvo.
Pilko tulokset ensin samalla menetelmällä. Vaihda sen jälkeen vain pilkkomistapaa, jotta sen vaikutus erottuu muunnoksen vaikutuksesta.
Aja samat kysymykset samoilla haku- ja vastausasetuksilla. Kirjaa erikseen, löytyikö oikea pala ja oliko muodostettu vastaus oikein.

Jos vastausarvo puuttuu muunnetusta sisällöstä, säädä jäsennystä tai OCR:ää ennen palakokoa. Jos arvo on mukana mutta haku ohittaa sen, tarkastele otsikkokontekstia, taulukkorajaa ja metatietoa. Vastausten vertailussa myös RAG-vastausten arviointitapa kannattaa pitää samana koko kokeen ajan.

Lue myös: