Mimir eller Munin? Den lille danske model vinder ikke alle opgaver

Vælg DFM Mimir v1.5 som første kandidat til korte danske tekstopgaver, hvis lokal kapacitet er begrænset. Modelkortet for DFM Mimir v1.5 angiver cirka 1,79 milliarder parametre inklusive embeddings og outputhoved, en kontekstgrænse på 4.096 tokens og Apache 2.0 som licens. I kortets fælles danske prøve får et tidligere Mimir-checkpoint et højere gennemsnit end de medtagne Munin-varianter, mens Munin Apertus klarer PIQA-opgaven bedre.

Munin er derfor relevant, når en bestemt opgavetype vejer tungere end et samlet gennemsnit, og der er plads til en større model. For korte udkast, resuméer og spørgsmål til tekst er dansk kvalitet central; for kode og værktøjskald skal de evner vurderes særskilt. Valget afhænger også af, om den ønskede model kan køre i den lokale infrastruktur.

Størrelse er kun én del af driftskravet

Mimirs færre parametre gør den interessant, når plads til modelvægte og hukommelse er knappe. Arkitekturen er HRM-Text med PrefixLM og kræver en kompatibel runtime og den tilhørende promptbehandling. Et lavere parametertal gør altså ikke modellen til en direkte erstatning i enhver eksisterende opsætning. Kontekstgrænsen har også betydning: Lange dokumenter må eventuelt opdeles, før modellen kan arbejde med dem.

Munin er en familie af danskrettede eftertræninger på forskellige basismodeller, ikke én model med ét sæt driftskrav. Modelkortet for Munin Qwen 9B beskriver den som en tekstmodel til dansk generering og instruktionsfølgning uden understøttelse af billedinput. Hvis opgaven begynder med scannede sider eller figurer, skal tekstudtræk derfor håndteres særskilt. Det samme gælder vurderingen af de enkelte Munin-varianters størrelse og kompatibilitet: Familiens navn alene beskriver ikke installationen.

En mindre vægtfil kan lette kapacitetskravet, men siger ikke i sig selv, hvor hurtigt modellen svarer ved den ønskede dokumentlængde og samtidige belastning. Den relevante driftspris omfatter også arbejdet med at få runtime, tokenisering og overvågning til at fungere. En allerede understøttet Munin-variant kan derfor være enklere at sætte i drift end Mimir i én installation, selv om Mimir er den mindre model.

Opgavematrix: hvor bør hver kandidat prøves?

Udgivelsesnoten for Munin 1.0 beskriver eftertræninger af Apertus, Ministral og Qwen og viser store forskelle mellem opgaver: Munin Ministral forbedrer eksempelvis opsummering fra 35,1 til 37,0 på chrF++, mens dens kodescore falder fra 75,0 til 49,2 på pass@1 sammenlignet med den oprindelige instruktionsmodel. Tallene måler to forskellige færdigheder og kan ikke lægges sammen til ét praktisk svar. De giver denne opgavematrix som udgangspunkt:

• Korte danske udkast: Begynd med Mimir, hvis begrænset kapacitet er det afgørende vilkår. Sammenlign derefter med en Munin-variant på den genre, der faktisk skal skrives: Et passende ordvalg hjælper ikke, hvis modellen overser instruktionen eller tilføjer udokumenterede oplysninger.
• Opsummering: Prøv modellerne på tekster af den længde, der indgår i arbejdet. Bedøm, om resuméet bevarer hovedpunkter og væsentlige forbehold. Et benchmark for automatisk tekstlig lighed afgør ikke alene, om et resumé er fagligt brugbart.
• Læseforståelse: Munin-varianterne kan udvikle sig forskelligt på spørgsmål til tekst og sproglig inferens. Brug spørgsmål, hvor svaret kan findes i det medfølgende materiale, og registrér både korrekte svar og påstande uden belæg.
• Kode: Behandl kode som en selvstændig opgave. Vælg ikke en Munin-variant til udviklerarbejde alene på grund af dens danske tekstresultater; sammenlign konkrete kodeforslag med de alternativer, der kan køres i samme miljø.
• Værktøjskald: Kræv korrekt valg af funktion, gyldige argumenter og fornuftig håndtering af fejl. En flydende dansk forklaring viser ikke, om modellen også kan udføre et struktureret kald pålideligt.
• Lokal drift: Sammenlign vægtenes pladsbehov, runtime, dokumentlængde og svartid i den planlagte installation. Den mindste kandidat er først det enkleste valg, når dens arkitektur er understøttet.

Det danske gennemsnit afgør ikke hver opgave

Den fælles danske sammenligning giver Mimir-linjen en stærk samlet placering, men gennemsnittet vægter prøver, som kan have meget forskellig værdi i en konkret løsning. PIQA er et eksempel på, at en Munin-variant kan ligge foran på en enkelt prøve. For en løsning, der primært skal besvare spørgsmål til dokumenter, er resultatet for netop den slags spørgsmål mere relevant end en bred score med andre opgaver blandet ind.

Der er desuden en vigtig forskel mellem de testede og de downloadbare Mimir-vægte. Den direkte sammenligning brugte et tidligere checkpoint fra samme træningsforløb; den offentliggjorte model har en særskilt evaluering. Resultaterne er derfor nyttige til at udvælge kandidater, men den direkte placering kan ikke uden videre tilskrives præcis den fil, der installeres.

Munins opdelte resultater sammenligner primært hver dansk eftertræning med en instruktionsmodel fra den samme basismodel. Det er et andet spørgsmål end den fælles prøve mellem Mimir og Munin, og målinger med forskellig opgavesammensætning og evalueringsopsætning bør ikke flettes til én rangliste. Forskellen er særlig vigtig ved kode: En score for matematik og kode under ét siger mindre om konkrete kodeforslag end en særskilt kodeprøve.

Licens og selvhosting bestemmer ikke dataplaceringen

De beskrevne Mimir- og Munin-vægte er tilgængelige under Apache 2.0, men licensen fortæller ikke, hvor input, svar eller logfiler behandles. AI Alliancens modeloversigt beskriver selvhosting som en mulighed og gør det klart, at dataplacering afhænger af inferensmiljø, lagring og logning samt blandt andet sikkerhedskopier, supportadgang og eksterne forbindelser. Dansk udvikling eller tilpasning er heller ikke i sig selv en garanti for dansk drift.

Det skel har praktisk betydning ved fortrolige tekster. En organisation kan hente vægtene og selv vælge infrastrukturen, men den samlede løsning kan stadig sende oplysninger gennem andre tjenester eller gemme dem i logs. Driftens dataflow skal derfor vurderes sammen med modellen, især hvis værktøjskald eller særskilt tekstudtræk bliver en del af arbejdsgangen.

Vælg på den tekst, modellen skal behandle

En kort prøve på egne danske tekster kan afgøre det, som de offentliggjorte resultater ikke kan: Om modellen følger jeres instruktioner, bevarer de nødvendige oplysninger og passer til det tilgængelige driftsbudget. Giv kandidaterne samme input og bedøm svarene efter samme regler. Mål også svartid og ressourceforbrug i den runtime og ved den dokumentlængde, løsningen faktisk skal bruge.

Hvis Mimir leverer tilstrækkelig kvalitet på korte tekster i en kompatibel installation, taler den kompakte størrelse for den. Hvis en Munin-variant giver mærkbart bedre svar på den afgørende opgave, kan den større installation være berettiget. Ved kode og værktøjskald bør udfaldet forblive åbent, indtil netop de funktioner er prøvet; gode danske tekstresultater kan ikke afgøre dem.

Læs også:

• Nordnet eller eToro? Små handler gør 25 kr. til den store forskel
• Cursor eller GitHub Copilot? Opgavetypen slår den billigste månedspris
• Wrike eller Smartsheet? Licensblokke kan vende den danske pris