GraphRAG vai vektori-RAG? Kysymyksen rakenne ratkaisee valinnan

Valitse vektori-RAG, kun vastaus löytyy yhdestä tai muutamasta täsmällisestä tekstikatkelmasta. GraphRAG voi auttaa, kun kysymys vaatii useiden suhteiden yhdistämistä tai koko aineiston hahmottamista. RAGin ja GraphRAGin järjestelmällisessä vertailussa tavallinen RAG menestyi paremmin yksivaiheisissa, yksityiskohtaisissa faktakysymyksissä, kun taas osa graafiin perustuvista menetelmistä oli vahvempi monivaiheisissa kysymyksissä.

Valintaa ohjaavat myös aineiston suhteet, päivitystiheys ja kustannusraja. Graafirakenteen muodostaminen lisää indeksointityötä, joten sen pitää tuottaa hyötyä juuri niissä kysymyksissä, joita organisaation käyttäjät esittävät. GraphRAG kattaa erilaisia toteutuksia: yhden hakutavan tulosta ei voi yleistää kaikkiin graafia hyödyntäviin ratkaisuihin.

Yksi tarkka tieto löytyy usein tekstikatkelmasta

Vektori-RAG on luonteva lähtökohta, kun kysymys kohdistuu nimettyyn asiakirjaan, tapahtumaan tai yksittäiseen faktaan. Ehdollinen esimerkki on kysymys tietyn sopimuksen päättymisestä. Hyödyllinen hakutulos sisältää silloin oikean sopimuskohdan ja riittävästi ympäröivää tekstiä, jotta päivämäärä liittyy varmasti kyseiseen sopimukseen.

Tällaisessa tehtävässä yhteisötiivistelmä voi olla liian karkea. Se voi kuvata sopimuksia koskevan kokonaisuuden mutta jättää pois poikkeuksen, version tai sanamuodon, josta vastaus riippuu. Jos käyttäjä tarvitsee täsmällisen lähdekohdan, yksityiskohtien säilyminen painaa enemmän kuin mahdollisuus liikkua aineiston suhteiden välillä.

Vektorihakukin riippuu toteutuksesta. Katkelmien koko, asiakirjojen metatiedot ja hakutulosten järjestys vaikuttavat siihen, päätyykö oikea kohta kielimallin käyttöön. Jos saman sopimuksen eri versiot ovat aineistossa rinnakkain, version tunniste on vähintään yhtä tärkeä kuin tekstin samankaltaisuus kysymyksen kanssa. Graafin hyötyä on siksi mielekästä verrata toimivaan perushakuun, ei tarkoituksella heikkoon lähtöasetelmaan.

Suhteiden ketju voi puoltaa graafia

Graafirakenteesta on eniten apua silloin, kun vastaus muodostuu eri asiakirjoissa kuvatuista yhteyksistä. Ehdollinen kysymys voisi olla, mitkä päätökset muuttivat hankkeen aikataulua ja mitkä tiimit osallistuivat niihin. Yksi samankaltainen katkelma saattaa sisältää päätöksen, toinen aikataulumuutoksen ja kolmas osallistujat. Haun pitää löytää niiden välinen ketju.

Microsoftin GraphRAGin hakutapojen kuvaus erottaa paikallisen haun, joka yhdistää tietograafin tietoja alkuperäisiin tekstikatkelmiin, globaalista hausta, joka käyttää yhteisöraportteja koko aineistoa koskeviin kysymyksiin. Nimettyyn toimijaan ja sen yhteyksiin kohdistuva kysymys kuuluu paikallisen haun alueelle. Alkuperäiset katkelmat ovat siinä arvokkaita, koska ne näyttävät, mitä asiakirjoissa todella sanotaan löydetyistä suhteista.

Hyöty riippuu graafin laadusta. Jos sama toimija esiintyy usealla nimellä tai asiakirja kuvaa suhteen epäselvästi, yhteys voi jäädä poimimatta tai yhdistyä väärään toimijaan. Graafi ei korjaa lähdeaineiston aukkoa pelkällä rakenteellaan. Suhteisiin perustuva vastaus tarvitsee sekä oikean ketjun että tekstikohdat, jotka tukevat sen osia.

Koko aineiston yhteenveto on oma hakutehtävänsä

Laaja kysymys, kuten aineiston keskeiset teemat, ei välttämättä sisällä sanoja, joilla kaikki olennaiset asiakirjat löytyisivät vektorihakuna. GraphRAGin alkuperäisessä tutkimuksessa tekstistä muodostetaan toimijoiden ja suhteiden graafi sekä toisiinsa liittyvien toimijoiden yhteisötiivistelmät. Niiden avulla tuotetaan koko aineistoon kohdistuvia vastauksia; tutkimuksessa raportoitiin tavanomaista RAG-verrokkia kattavampia ja monipuolisempia vastauksia tämän tyyppisiin kysymyksiin.

Yhteenvedon laajuus ja yksityiskohdan tarkkuus ovat eri tavoitteita. Koko kokoelman teemoista kysyvä käyttäjä hyötyy eri asiakirjoista kootusta näkymästä. Tietyn henkilön roolia tai yksittäistä tapahtumaa koskeva yhteenveto taas voi tarvita alkuperäisiä katkelmia enemmän kuin korkean tason yhteisöraportteja. Siksi globaalia hakua ei kannata valita pelkän sanan ”yhteenveto” perusteella.

Julkaistujen vertailujen erilaiset yhteenvetotulokset liittyvät myös tähän rajaukseen. Koko aineiston yleisiä teemoja arvioiva tehtävä palkitsee laajuutta ja näkökulmien monipuolisuutta. Ihmisen kirjoittamaan, rajattua aihetta käsittelevään yhteenvetoon vertaava mittaus painottaa puolestaan yksityiskohtien kattamista. Organisaation valinta riippuu siitä, kumpaa vastausta käyttäjä oikeasti tarvitsee.

Indeksointi ja kyselyt kuluttavat eri tavoin

GraphRAGin kustannus alkaa ennen ensimmäistä kyselyä. Vakiomuotoinen indeksointi poimii tekstistä toimijoita ja suhteita, kokoaa niistä kuvauksia ja tuottaa yhteisöraportteja. Microsoftin indeksointimenetelmien ohjeessa FastGraphRAG kuvataan halvemmaksi vaihtoehdoksi, jossa osa kielimallin työstä korvataan perinteisillä kieliteknisillä menetelmillä; muodostuva graafi on kuitenkin tavallisesti kohinaisempi.

Suomenkieliselle aineistolle menetelmän asetukset vaativat erityistä huomiota. FastGraphRAGin oletusarvoinen substantiivilausekkeiden poiminta soveltuu ohjeen mukaan ensisijaisesti englantiin. Halvempi indeksointi ei siis yksin kerro, tunnistuvatko suomalaisen organisaation nimet ja suhteet käyttökelpoisesti. Runsaasti muuttuvassa aineistossa on lisäksi arvioitava, miten uudet tekstit vaikuttavat graafiin ja yhteisötiivistelmiin.

Kyselykustannus riippuu valitusta GraphRAG-hakutavasta. Microsoftin AP News -aineiston kokeessa dynaaminen yhteisövalinta pienensi keskimääräistä tokenkustannusta 77 prosenttia verrattuna staattiseen globaaliin hakuun samalla yhteisötasolla. Kokeen 50 globaalia kysymystä arvioitiin kielimallilla, ja vastausten laatu oli käytetyillä mittareilla vertailukelpoinen. Luku koskee kahta GraphRAGin globaalia hakutapaa, ei säästöä vektori-RAGiin verrattuna.

Dynaaminen valinta karsii kysymyksen kannalta epäolennaisia yhteisöraportteja ennen vastauksen muodostamista. Syvemmälle yhteisörakenteeseen ulottuva haku voi kuitenkin käsitellä enemmän raportteja ja kasvattaa kustannusta. Koko laskuun kuuluvat siis alkuindeksointi, aineiston päivitykset ja kyselyiden kulutus; pelkkä yhden kyselyn tokenmäärä antaa vajaan kuvan valinnasta.

Valintapuu organisaation aineistolle

1. Vastaus on rajatussa tekstikohdassa: aloita vektori-RAGista. Ratkaisevaa on, löytyykö oikea asiakirja ja säilyvätkö vastaukseen vaikuttavat versio- ja asiayhteystiedot.
2. Vastaus vaatii suhteiden ketjun: vertaa vektorihakua graafiin perustuvaan paikalliseen hakuun. Graafi tuo hyötyä vain, jos olennaiset toimijat ja yhteydet voidaan poimia aineistosta luotettavasti.
3. Kysymys koskee koko kokoelman teemoja: harkitse yhteisötiivistelmiä käyttävää globaalia hakua. Erota laaja teemakartta rajattua tapahtumaa koskevasta yhteenvedosta, joka tarvitsee tarkkoja tekstikohtia.
4. Aineisto päivittyy usein tai kustannusraja on tiukka: laske mukaan indeksin ylläpito. Jos kysymystyypit vaihtelevat, niiden ohjaaminen eri hakutapoihin voi olla tarkoituksenmukaisempaa kuin kaikkien käsittely graafin kautta.

Vertailun ratkaiseva aineisto on joukko organisaation todellisia kysymyksiä: tarkkoja faktoja, asiakirjojen välisiä suhdeketjuja ja kokoelman laajoja yhteenvetoja. Kun kullekin ryhmälle kirjataan vastausten oikeellisuus, löydettävät lähdekohdat ja kokonaiskustannus, näkyviin tulee, missä graafin lisätyö tuottaa käyttökelpoisen vastauksen.