ChatGPT či Perplexity na rešerš: citácie treba overovať

Ak si vyberáte nástroj na pracovnú alebo akademickú rešerš, Perplexity môže byť vhodným začiatkom pri mapovaní verejných zdrojov. ChatGPT Deep Research dáva väčší zmysel, keď chcete vopred určiť weby, upraviť plán hľadania alebo pracovať s vlastnými súbormi. Ani pri jednom nerozhoduje samotný počet citácií: užitočná je tá, ktorá vás dovedie k podkladu pre konkrétne tvrdenie.

Výber preto závisí od zadania aj od práce, ktorú si vyžiada kontrola výsledku. Prehľad s množstvom odkazov pomôže objaviť tému, ale odkaz na správnu publikáciu ešte nezaručuje, že z nej odpoveď vyvodila správny záver. Pri rešerši z interných dokumentov je rovnako dôležité vedieť, ktoré tvrdenie pochádza zo súboru a ktoré z verejného webu.

Kde nástroje berú podklady

Návod OpenAI k Deep Research opisuje vyhľadávanie na verejnom webe, obmedzenie na vybrané stránky, prácu s nahranými súbormi aj využitie podporovaných pripojených aplikácií. Používateľ môže pred spustením upraviť navrhnutý plán a počas práce zmeniť zameranie či dostupné zdroje. Prístup k pripojenej službe závisí okrem iného od plánu, regiónu, oprávnení a nastavení pracovného priestoru.

Opis Perplexity Deep Research v prostredí Computer uvádza plánovanie čiastkových úloh, kombinovanie vlastných súborov a aplikácií so živým webom, smerovanie úloh medzi viac než 20 modelmi a citovanie tvrdení k primárnym zdrojom. Sú to vlastnosti režimu opísaného pre Computer; pri výbere účtu alebo pracovného postupu ich nemožno automaticky pripísať každému spôsobu používania Perplexity. Firemný opis navyše hovorí, ako má systém pracovať, nie ako presná bude každá jeho odpoveď.

Rozdiel je najzreteľnejší pri kontrole vstupov. Ak máte povolené len určité odborné weby alebo úradné registre, možnosť obmedziť vyhľadávanie v ChatGPT vám pomôže udržať rešerš v zadanom rámci. Ak najprv zisťujete, ktoré verejné podklady k téme vôbec existujú, širší prieskum v Perplexity môže priniesť užitočnú mapu. V oboch prípadoch môže systém prehliadnuť relevantný dokument, ktorý v jeho výsledku nevidíte.

Vlastné súbory menia význam citácie

Pri práci s priloženými dokumentmi nestačí, aby výstup obsahoval spoločný zoznam zdrojov. Predstavte si zadanie, v ktorom porovnávate údaje zo svojej výročnej správy s verejnými pravidlami. Veta o údajoch organizácie potrebuje oporu v príslušnej časti nahraného súboru; veta o pravidle potrebuje odkaz na jeho aktuálne znenie. Keď odpoveď tieto pôvody zmieša, čitateľ nevie, či rozdiel vyplýva z podkladov alebo zo zhrnutia modelu.

Pri vlastných súboroch sa oplatí hodnotiť aj presnosť miesta, na ktoré odpoveď ukazuje. Názov súboru je slabšia opora než konkrétna strana, tabuľka alebo pasáž. Ak je dokument dlhý, všeobecný odkaz núti používateľa hľadať tvrdenie od začiatku; presné miesto umožňuje skontrolovať aj okolité podmienky a poznámky. Toto kritérium platí rovnako pre súbor priložený k jednému či druhému nástroju.

Čo citácia skutočne dokazuje

Pri každej citácii treba oddeliť tri otázky: či odkaz funguje, či vedie k správnemu podkladu a či podklad podporuje vetu v odpovedi. Funkčný odkaz môže smerovať na novinové zhrnutie namiesto pôvodnej štúdie. Aj pôvodná štúdia môže skúmať inú krajinu, skupinu ľudí alebo obdobie, než aké jej pripisuje rešerš. Viac takýchto odkazov preto neistotu neodstráni.

Autori výskumu bibliografických referencií preverili 400 položiek vytvorených ôsmimi bezplatnými chatbotmi vrátane ChatGPT a Perplexity; úplne správnych bolo 26,5 percenta. Hodnotili údaje ako autor, rok, názov a miesto publikovania pri osobitnej akademickej úlohe. Tento výsledok nie je meraním dnešných režimov Deep Research ani percentuálnym skóre správnosti ich výskumných správ. Ukazuje však, prečo bibliografickú položku nemožno prevziať len preto, že vyzerá úplne.

Správna bibliografia je iba začiatok vecnej kontroly. Pri rozhodujúcom závere treba v pôvodnej publikácii nájsť pasáž, z ktorej vyplýva, a overiť jednotky, podmienky a rozsah tvrdenia. Zhrnutie napríklad môže z výsledku pre jednu sledovanú skupinu urobiť všeobecné pravidlo. Taká chyba zostane skrytá aj vtedy, keď autor, názov a odkaz sedia.

Čo merali priame porovnania

V teste HundredTabs na piatich výskumných úlohách autor vyhodnotil citácie Perplexity Deep Research ako presnejšie priradené k tvrdeniam, zatiaľ čo ChatGPT Deep Research podľa neho pripravil rozsiahlejšie správy; pri Perplexity zároveň upozornil na vynechané relevantné zdroje. Ide o používateľské hodnotenie vybraných úloh. Presnejšie umiestnenie odkazu v týchto výstupoch samo osebe neznamená, že boli overené všetky závery alebo že rovnaký výsledok nastane pri vašej téme.

Redaktor Tom’s Guide v teste troch zadaní uprednostnil Perplexity pre podrobnejšie odpovede a väčšie množstvo ponúknutých zdrojov. Zadania sa však týkali návrhu výskumných tém, osnovy a spresnenia otázok. Test nebol auditom citovaných tvrdení v hotových správach oboch režimov Deep Research. Jeho výsledok pomáha posúdiť začiatok rešerše, nie vyhlásiť víťaza v presnosti akademických citácií.

Rovnaká kontrola pre oba výstupy

Ak porovnávate odpovede na vlastné zadanie, použite rovnakú otázku, územie, obdobie a požadovaný typ podkladov. Potom vyberte tvrdenia, od ktorých závisí záver rešerše. Pri každom z nich sledujte päť vecí:

Pôvod: Je podklad pôvodnou štúdiou, úradným dokumentom či prvotnými údajmi, alebo iba preberá cudzie zistenie? Sekundárny prehľad môže poslúžiť na orientáciu, no pri rozhodujúcom údaji treba dohľadať pôvod.
Funkčný odkaz: Vedie na konkrétnu dostupnú stránku alebo súbor? Úvodná stránka vydavateľa nestačí, ak z nej citovanú publikáciu neviete nájsť.
Opora tvrdenia: Uvádza podklad tú istú hodnotu, skupinu, územie a podmienky ako veta v odpovedi? Rozlišujte medzi zistením autora a jeho odhadom.
Čerstvosť: Zodpovedá obdobie podkladu otázke? Staršie pravidlo či štatistika môžu byť citované presne, ale nemusia vystihovať stav, ktorý skúmate.
Priložené súbory: Dá sa údaj z vlastného dokumentu odlíšiť od údaja z webu a nájsť jeho konkrétne miesto?

Takáto kontrola dáva počtu citácií správny význam. Množstvo odkazov môže byť výhodou pri objavovaní podkladov; kvalita rozhodujúcich odkazov určuje, či na nich možno postaviť záver. Pri pracovnej rešerši je užitočnejší kratší výstup s dohľadateľnými oporami než rozsiahla odpoveď, pri ktorej sa kľúčová veta nedá priradiť k pôvodnému dokumentu.

Výber podľa zadania

Na prvé zmapovanie otvorenej témy má Perplexity zmysel, ak chcete rýchlo prejsť ponúknuté verejné zdroje. Pri rešerši s určenými webmi, vlastnými súbormi a plánom, ktorý potrebujete počas práce upravovať, je silným kandidátom ChatGPT Deep Research. Ak rozhoduje presnosť akademickej citácie, ani jeden výber vás nezbavuje kontroly pôvodnej publikácie. Nástroj si vyberte podľa toho, pri ktorom dokážete pre svoje konkrétne zadanie ľahšie vystopovať podklady k záveru.

Prečítajte si aj: