Poro 2 vai Llama 3.1: suomen testiero ja konteksti

Suomenkieliseen keskusteluun ja ohjeita seuraavaan automaatioon Poro 2 8B Instruct on vahvempi lähtökohta kuin Llama 3.1 8B Instruct: AMD Silo AI:n 8B-vertailussa IFEval Finnish -pisteet olivat 66,54 ja 47,31, MTBench Finnish -pisteet 6,75 ja 4,10 sekä AlpacaEval 2 Finnish -tulokset 28,89 ja 2,05. Mallit ovat samaa kokoluokkaa, mutta suomenkielisten tehtävien tulokset eroavat selvästi.

Jos sovelluksen on käsiteltävä pitkä alkuperäinen dokumentti yhdessä pyynnössä, Llama 3.1 voi olla parempi valinta pidemmän konteksti-ikkunansa vuoksi. Suomen ja englannin välillä vaihtelevaan käyttöön Poro 2 on mahdollinen valinta, mutta suomenkielinen testietu ei yksin ratkaise englanninkielisten tehtävien laatua.

Mitä suomenkieliset testit mittaavat?

IFEval mittaa, täyttääkö vastaus ohjelmallisesti tarkistettavia ohjeita. Ero on merkityksellinen esimerkiksi automaatiossa, jossa vastauksen on noudatettava pyydettyä rakennetta ja useita samanaikaisia ehtoja. MTBench puolestaan arvioi useamman vuoron keskustelua, kun taas AlpacaEval 2 vertailee yksittäisiin pyyntöihin annettuja vastauksia. Koska kaikki kolme koetta osoittavat samaan suuntaan, Poro 2:n etu ei jää yhden tehtävätyypin varaan.

Kokeiden menetelmät rajaavat silti päätelmää. Suomenkieliset kysymykset käännettiin ja korjattiin käsin; MTBenchissä ja AlpacaEvalissa vastauksia arvioi kielimalli. Niissä käytettiin myös kielentunnistusta, joka heikensi muulla kuin suomella annettujen vastausten tulosta. IFEvalissa tarkistus on ohjelmallinen. Siksi luvut kertovat eri asioista: ohjeiden noudattamisesta, keskusteluvastauksista ja vastausten keskinäisestä paremmuudesta. Mikään niistä ei suoraan mittaa esimerkiksi oman asiakirjakannan kenttien poimintaa.

Vertailussa on myös hyvä pitää erillään valmiit keskustelumallit ja niiden pohjamallit. Tässä tulokset koskevat nimenomaan Poro 2 8B Instructia ja Llama 3.1 8B Instructia. Pohjamallin tai pelkän ohjeviritetyn välivaiheen pisteitä ei voi siirtää sellaisenaan valmiille Instruct-versiolle.

Mistä ero syntyy, vaikka mallien koko on sama?

Poro 2:n mallikortin mukaan 8,03 miljardin parametrin Instruct-versio perustuu Llama 3.1 8B -pohjamalliin. Pohjan jatkokoulutuksessa käytettiin 165 miljardia suomen, englannin, koodin ja matematiikan tokenia. Sen jälkeen malli ohjeviritettiin 1,4 miljoonalla suomen- ja englanninkielisellä esimerkillä ja viimeisteltiin mieltymysdatan avulla. Mallikortti ilmoittaa enimmäiskontekstiksi 8 192 tokenia ja julkaisulisenssiksi Llama 3.3 Community Licensen.

Jatkokoulutus ja ohjeviritys selittävät, miksi yhteinen pohja ei tarkoita samanlaista vastaustapaa. Suomenkielinen aineisto vaikuttaa siihen, miten malli käsittelee kieltä, ja ohjeviritys kohdistuu avustimen tehtäviin. Poro 2:n tarkoitettuihin käyttötapoihin kuuluvat suomen- ja englanninkielinen keskustelu, kysymyksiin vastaaminen sekä kääntäminen näiden kielten välillä. Testietu kannattaa silti ymmärtää näyttönä mitatuista tehtävistä, ei lupauksena virheettömistä vastauksista erikoisalalla.

Englanninkieliset tulokset ovat valinnassa olennainen vastapaino. Samassa arvioinnissa mallien englanninkielinen ohjeiden noudattaminen oli lähellä toisiaan, mutta keskustelu- ja vastausvertailut eivät asettaneet niitä yksiselitteisesti samaan järjestykseen. Jos työ sisältää sekä suomalaisia asiakasviestejä että englanninkielisiä teknisiä pyyntöjä, pelkkä suomenkielinen kokonaisvaikutelma peittää tämän eron. Tehtävien kielijakauma vaikuttaa silloin enemmän kuin se, että molemmat nimet päättyvät samaan kokomerkintään.

Pitkä syöte muuttaa valinnan

Metan Llama 3.1 8B Instruct -mallikortti ilmoittaa 128 000 tokenin kontekstin ja Llama 3.1 Community Licensen. Sen virallisesti tuettujen kielten luettelossa ovat englanti, saksa, ranska, italia, portugali, hindi, espanja ja thai; suomi ei kuulu luetteloon. Mallikortti huomauttaa myös, että mallia on koulutettu luetteloa laajemmalla kielijoukolla. Virallisen tuen puuttuminen ei siis tarkoita, ettei malli tuottaisi suomea, mutta se on olennainen rajoitus suomenkielistä palvelua valittaessa.

Konteksti-ikkuna kertoo, paljonko syötettä ja keskusteluhistoriaa malli voi käsitellä samassa kokonaisuudessa. Pitkässä sopimuksessa, ohjekokoelmassa tai monesta viestistä koostuvassa keskustelussa lyhyempi ikkuna voi vaatia tekstin jakamista tai olennaisten katkelmien hakemista ennen mallille lähettämistä. Tämä lisää sovellukseen hakuvaiheen, jonka onnistumisesta vastaus riippuu. Jos alkuperäinen teksti on pidettävä mukana yhtenä kokonaisuutena, Llaman suurempi ikkuna antaa toteutukselle enemmän liikkumavaraa.

Ilmoitettu enimmäispituus ei kuitenkaan ole sama asia kuin taattu tarkkuus ikkunan loppupäässä. Pitkä syöte lisää käsiteltävää tietoa, mutta malli voi silti sivuuttaa olennaisen kohdan tai sekoittaa asiakirjan eri osia. Näin ollen pitkäkontekstisen käytön päätös ei perustu vain siihen, mahtuuko teksti teknisesti mukaan, vaan myös siihen, löytääkö malli oikean tiedon kyseisestä tekstistä.

Muistitarve ja lisenssi paikallisessa ajossa

Samankokoinen parametrimäärä tekee mallien painojen perusmuistitarpeesta suunnilleen samanlaisen. Karkeassa laskussa kahdeksan miljardin parametrin painot vievät 16-bittisinä noin 16 gigatavua ja nelibittisinä noin neljä gigatavua, ennen ajonaikaista lisämuistia. Hugging Facen kvantisointiohje kuvaa, miten pienempi bittimäärä vähentää painojen muistijälkeä. Toteutunut vaatimus riippuu myös ohjelmistosta, muista mallin osista, välimuistista ja käsiteltävän syötteen pituudesta.

Kontekstin kasvattaminen kuluttaa muistia myös silloin, kun painot pysyvät samoina. Paikalliseen ajoon sopiva laite määräytyy siksi aiotun syötteen ja samanaikaisten pyyntöjen mukaan, ei pelkän mallikoon perusteella. Kvantisointi voi helpottaa kummankin mallin käyttöä rajallisella muistilla, mutta sen jälkeen tehty laatuvertailu koskee juuri valittua kvantisoitua versiota.

Molemmat mallit kuuluvat Llama Community License -lisenssiperheeseen, mutta niiden mallikorteissa nimetyt lisenssiversiot eroavat. Julkaistavaa palvelua varten käyttöehdot on luettava sen malliversion mukaan, joka todella otetaan käyttöön. Yhteinen Llama-pohja ei yksin kerro, että kahden mallin ehdot olisivat samat.

Valinta käyttötavan mukaan

Lyhyeen suomenkieliseen keskusteluun, asiakaspalvelun kaltaiseen vuoropuheluun ja rajattuihin ohjeisiin perustuvaan automaatioon Poro 2 8B Instruct on tulosten perusteella perusteltu ensimmäinen valinta. Sen etu näkyy sekä tarkistettavissa ohjeissa että keskusteluun liittyvissä arvioissa. Kun suuri alkuperäinen dokumentti on lähetettävä kokonaisena mallille, Llama 3.1 8B Instructin pidempi konteksti voi painaa enemmän kuin Poro 2:n lyhyiden suomenkielisten kokeiden etu.

Kaksikielisessä sovelluksessa ratkaisevaa on työn todellinen kielijakauma. Jos vaativimmat vastaukset ovat suomeksi ja syötteet pysyvät Poro 2:n ikkunassa, sen koulutus ja testitulokset tukevat valintaa. Jos samassa sovelluksessa tarvitaan pitkiä englanninkielisiä lähdetekstejä tai huomattavasti pidempää keskusteluhistoriaa, Llaman konteksti voi säästää tekstin pilkkomiselta. Suomenkielisen palvelun kannalta sen virallisen kielituen rajaus jää silti huomioon otettavaksi.

Lue myös: