ChatGPT of Perplexity: Nederlandse merkvragen geven ruim 3× meer fouten

In de Nederlandse meting van Timmermans Media over 37 merken en 1.917 beoordeelde antwoorden had Perplexity bij 9,2 procent van de klantvragen een fout meerderheidsantwoord, tegenover 2,7 procent bij ChatGPT: ruim 3× zo vaak. Voor een kort, controleerbaar merkfeit wijst die uitkomst naar ChatGPT als eerste keuze. De percentages komen uit een test met standaardconfiguraties via de API, niet uit een rechtstreekse vergelijking van de huidige zoekapps.

Perplexity Pro Search kan juist handig zijn als je voor een bredere onderzoeksvraag snel verschillende vindplaatsen zoekt. Bij een actuele prijs, voorwaarde of bedrijfsstatus is de doorslaggevende vraag vervolgens welke pagina de concrete bewering draagt. Een bronlink maakt een antwoord controleerbaar, maar maakt het antwoord niet vanzelf juist.

Wat is er in Nederland gemeten?

De onderzoekers legden feitelijke klantvragen over Nederlandse merken herhaaldelijk voor aan ChatGPT, Gemini en Perplexity. Een vraag telde voor een model als fout wanneer de meerderheid van de herhaalde antwoorden onjuist was. Het foutpercentage beschrijft dus vragen met een fout meerderheidsoordeel, niet het aandeel fouten onder alle losse antwoorden dat een gebruiker te zien zou krijgen.

De beoordeelde antwoorden omvatten ook strikvragen en controlevragen. Het totale aantal is daardoor geen steekproef die uitsluitend uit antwoorden van ChatGPT en Perplexity op gewone merkvragen bestaat. De test gebruikte standaardinstellingen zonder diepgaande onderzoeksstand; de uitkomst is geen gemeten voorsprong van een betaald ChatGPT-abonnement op Perplexity Pro Search. Ook kan een antwoord in een chatapp afwijken van een antwoord via de API.

De foutsoort verklaart waarom vooral veranderlijke bedrijfsinformatie aandacht vraagt. In de meting kwam verouderde informatie vaker voor dan volledig verzonnen informatie. Een prijs die eerder klopte, een verlopen actie of een gestopte dienst kan nog op een bestaande website staan. De assistent kan die pagina correct terugvinden en toch de verkeerde conclusie trekken voor de vraag van vandaag.

Waarom een bronvermelding geen garantie is

Perplexity’s uitleg van Pro Search beschrijft zoekopdrachten langs meerdere soorten webbronnen, directe links bij antwoorden en de mogelijkheid om het onderzoek te verfijnen. De dienst raadt gebruikers ook aan informatie aan die gelinkte bronnen te toetsen. De meerwaarde voor verkennend onderzoek zit in het snel vinden van aanknopingspunten; de links nemen de beoordeling van een specifieke bewering niet over.

Ook ChatGPT kan actuele webinformatie met verwijzingen ophalen. OpenAI’s uitleg van ChatGPT Search waarschuwt dat zoekresultaten en citaties onvolledig, verouderd of onjuist kunnen zijn. Een verwijzing verdient daarom dezelfde vraag als het antwoord zelf: staat de genoemde prijs, status of voorwaarde werkelijk op die pagina, voor het juiste land en de juiste periode?

Bij de Nederlandse merkvragen verschoof de mix van aangehaalde bronnen bij foute antwoorden vaker naar vergelijkings- en affiliatepagina’s; het aandeel van het eigen merkdomein werd kleiner. Dat is een verband in de meting, geen bewijs dat een specifieke externe pagina elke fout veroorzaakte. Zelfs wanneer een merkwebsite tussen de links staat, kan een antwoord steunen op een oude aanbieding van elders of op een buitenlandse versie van hetzelfde merk.

Welke assistent past bij welk soort vraag?

Het gemeten verschil maakt ChatGPT een redelijke eerste halte voor een afgebakend Nederlands merkfeit. Voor een vraag die vooral om het verzamelen van uiteenlopende bronnen draait, past Perplexity Pro Search beter bij de taak. In beide gevallen verandert het soort vraag welke bron uiteindelijk uitsluitsel geeft:

• Prijs, actie of abonnement. Gebruik het AI-antwoord om het juiste product of tarief te vinden en controleer het bedrag op de actuele Nederlandse productpagina. Kijk of de aanbieding alleen voor nieuwe klanten geldt, wanneer zij afloopt en welke voorwaarden bij de getoonde prijs horen. Een oudere vergelijkingspagina kan een echte, maar inmiddels achterhaalde prijs vermelden.
• Bedrijfsgegevens of bedrijfsstatus. Controleer eerst of de assistent de juiste onderneming en vestiging bedoelt. Volgens de uitleg van KVK over het Handelsregister zijn onder meer handelsnamen, vestigingsgegevens, rechtsvormen en gegevens over gestopte organisaties daarin te vinden. Het register helpt bij de identiteit en inschrijving van een bedrijf; voor de beschikbaarheid van een afzonderlijke dienst blijft een actuele mededeling van het bedrijf nodig.
• Recente ontwikkeling. Laat gebeurtenis en datum afzonderlijk noemen en open de oorspronkelijke aankondiging of een betrouwbaar bericht. Controleer vervolgens of de tekst een plan, een beperkte proef of een al doorgevoerde verandering beschrijft. De datum waarop een pagina is bijgewerkt, hoeft niet de datum van de beschreven gebeurtenis te zijn.
• Verkennend onderzoek. Perplexity Pro Search kan meerdere soorten bronnen bijeenbrengen; ChatGPT Search kan eveneens webbronnen tonen. Vergelijk bij een belangrijk onderwerp de oorspronkelijke publicaties achter de samenvatting. Een bedrijfswebsite, een nieuwsbericht en een forumreactie kunnen elk een ander deel van de vraag belichten, maar verdienen niet automatisch hetzelfde gewicht.

Als de antwoorden uiteenlopen

Een verschil tussen beide assistenten is een reden om de bewering op te splitsen: over welke onderneming, welk aanbod, welk land en welk moment gaat zij precies? Zoek vervolgens de passage die elk antwoord ondersteunt. Gaat de ene bron over een verlopen actie en de andere over het huidige standaardtarief, dan spreken de antwoorden mogelijk over verschillende voorwaarden.

Ontbreekt een actuele oorspronkelijke bron, behandel het AI-antwoord dan als een aanwijzing en niet als een vastgesteld bedrijfsfeit. Voor wie vooral de betaalde functies wil kiezen, is daarnaast het onderscheid tussen bronnen vinden en antwoorden uitwerken relevant; de Nederlandse foutmeting beoordeelde die abonnementen niet afzonderlijk.

Lees ook:

• Perplexity Pro of ChatGPT Plus: snel bronnen vinden of dieper uitwerken?
• ChatGPT of Copilot in Excel: werkmaptoegang voorkomt geen fouten
• RAG of fine-tuning: actuele kennis kost meer per antwoord