ChatGPT eller Gemini Deep Research: flest kilder treffer ikke best

For rapporter der relevante referanser og etterprøvbare påstander veier tyngst, gir ReportBench-resultatene et holdepunkt for å velge ChatGPT Deep Research: Gemini Deep Research oppga i snitt 32,42 referanser per rapport mot 9,89 for OpenAI Deep Research, men OpenAI hadde høyere referansepresisjon og bedre samsvar mellom siterte kilder og påstander. Målingen gjelder akademiske oversiktsoppgaver, så den avgjør ikke alene hvilket verktøy som passer en norsk rapport.

ChatGPT er et naturlig valg når du vil styre hvilke offentlige nettsteder undersøkelsen skal bruke. Gemini kan passe bedre når Gmail, Drive eller NotebookLM er sentrale deler av materialet og rapporten skal videre til Google Docs. Verktøyvalget avhenger både av hvilke kilder agenten får tilgang til, og hva rapporten skal brukes til.

Hva ReportBench måler

ReportBench-studien bygger på 100 oppgaver avledet fra publiserte akademiske oversiktsartikler. Forskerne samlet svar fra nettversjonene mellom 14. og 25. juli 2025. OpenAI ble kjørt med standardutgaven av Deep Research, drevet av o3, mens Gemini ble kjørt med både Gemini 2.5 Pro og Deep Research aktivert. Resultatene beskriver disse produktkonfigurasjonene i testperioden, ikke alle senere modeller og innstillinger.

Referansepresisjon betyr her andelen oppgitte referanser som samsvarer med litteraturlisten i den opprinnelige fagoversikten. OpenAI fikk 0,385, mot 0,145 for Gemini. Gemini fant en marginalt større andel av fasitens referanser, 0,036 mot 0,033, selv om referanselisten var langt lengre. Antall referanser og andelen som treffer fasiten må derfor leses som separate mål.

Studien målte også om en sitert kilde støtter påstanden den er knyttet til. Samsvaret var 78,87 prosent for OpenAI og 72,94 prosent for Gemini. En kilde kan være relevant for emnet uten å underbygge setningen ved siden av henvisningen. Kontrollen bygde på automatisert uttrekk og språkmodellbasert vurdering, så tallene må forstås som resultater etter studiens metode.

Fasiten er heller ikke en uttømmende liste over all god forskning om et emne: En relevant artikkel kan falle utenfor litteraturlisten som ble brukt som sammenligningsgrunnlag. Oppgavene er hentet fra faglige oversikter med tyngde innen naturvitenskap og teknologi. Resultatet er derfor særlig relevant for litteraturarbeid, men kan ikke overføres direkte til en norsk markedsanalyse eller en rapport om regelverk.

Offentlige kilder: ChatGPT gir tydelig domenestyring

OpenAIs veiledning beskriver to måter å styre nettsteder på i Deep Research. Du kan begrense undersøkelsen til utvalgte nettsteder eller domener, eller prioritere dem samtidig som resten av nettet fortsatt er tilgjengelig. Det første passer når grunnlaget skal komme fra et fast kildeutvalg, for eksempel norske myndigheter og navngitte fagmiljøer. Det andre åpner for supplerende materiale uten at de foretrukne nettstedene mister forrang.

Domenestyring hjelper når avsenderen er en del av kravet til rapporten. En offentlig regel kan kreve en annen kilde enn en bransjevurdering, selv om begge omtaler samme spørsmål. Prioritering må likevel skilles fra avgrensning: Kilder utenfor listen kan fortsatt dukke opp i rapporten. Funksjonen styrer søket, mens tolkningen av kildene fortsatt må vurderes i resultatet.

ChatGPT kan også bruke opplastede filer og støttede tilkoblede apper som datagrunnlag. Hvilke apper som faktisk er tilgjengelige, avhenger av abonnement, region, arbeidsområdets innstillinger og kontotillatelser. En tjeneste må støtte Deep Research og være tilgjengelig for den aktuelle brukeren. For en gruppe med materiale spredt på ulike tjenester kan faktisk tilgang derfor bety mer enn listen over mulige integrasjoner.

Egne dokumenter: Gemini samler Google-kildene

Googles veiledning oppgir Google Søk som standardkilde i Gemini Deep Research og beskriver Gmail, Drive, opplastede filer og NotebookLM-notatbøker som mulige tillegg. Google Søk kan velges bort hvis rapporten bare skal bygge på andre valgte kilder. Gmail og Drive forutsetter at Google Workspace-appen er koblet til Gemini Apps; kontotilgangen må derfor være på plass før integrasjonen kan bli en del av arbeidet.

Dette gir Gemini en tydelig plass når rapportens råstoff allerede ligger i Googles tjenester. E-post, lagrede dokumenter og en NotebookLM-notatbok er ulike typer grunnlag med ulike krav til tilgang. En rapport basert på intern korrespondanse har også en annen kvalitetsprøve enn ReportBenchs sammenligning med bibliografier fra publiserte fagartikler. Testens fordel for OpenAI sier dermed lite om kvaliteten på analyse av en virksomhets egne dokumenter.

Det finnes en konkret kombinasjonsgrense: Visualiseringer som kan følge med Deep Research-rapporter for Google AI Ultra, er foreløpig ikke tilgjengelige når Google Workspace-tjenester som Gmail eller Drive brukes som kilder. Dersom bestillingen krever både interne Google-dokumenter og slike visualiseringer, må denne begrensningen tas med i valget. Den sier ingenting om kvaliteten på rapportens tekst eller henvisninger.

Fra forskningsplan til ferdig rapport

Begge produktene lar brukeren se og endre en forskningsplan før agenten starter. I ChatGPT kan retningen også justeres mens arbeidet pågår, inkludert hvilke kilder agenten får bruke. Den ferdige rapporten har henvisninger og kan lastes ned som blant annet Word, PDF og Markdown. Dette passer når utkastet skal inn i en redigerings- eller arkiveringsflyt utenfor chatten.

Gemini legger den ferdige rapporten i Canvas, der den kan deles, kopieres som tekst eller eksporteres til Google Docs. For en gruppe som allerede skriver og kommenterer i Docs, gir det en direkte vei til videre bearbeiding. Eksportformatet sier likevel ikke noe om hvor presise henvisningene er; her gir ReportBench en egen kvalitetsindikator for den typen akademiske oppgaver studien undersøkte.

Valg etter rapportoppgave

Offentlig informasjon: ChatGPT har et fortrinn når rapporten skal bruke bare bestemte domener eller gi dem forrang. Det er særlig relevant hvis kilden må være en navngitt offentlig eller faglig avsender. Geminis valg om å ta Google Søk med eller ut av undersøkelsen styrer en bredere kildekategori.
Egne dokumenter: Gemini er nærliggende når Gmail, Drive og NotebookLM er kjernen i arbeidet, og tilkoblingen er tilgjengelig for kontoen. ChatGPT er fortsatt et alternativ for opplastede filer og støttede apper. Det konkrete dokumentlageret og tilgangsrettighetene avgjør mer enn produktnavnet alene.
Akademisk research: OpenAI Deep Research hadde høyere referansepresisjon og bedre samsvar mellom sitert kilde og påstand i ReportBenchs oppgaver. Gemini ga flere referanser og marginalt høyere gjenfinning av fasitlisten. For en konsis litteraturgjennomgang peker de publiserte tallene mot OpenAI; for bred innsamling kan Geminis lengre liste ha verdi.

Les også: