ChatGPT ή Gemini Deep Research: οι πολλές πηγές δεν αρκούν

Για αναφορά που πρέπει να στηρίζει μια απόφαση, το ChatGPT Deep Research είναι εύλογη πρώτη επιλογή όταν προέχει η σύνθεση αντικρουόμενων ευρημάτων. Σε δοκιμή του Context Rankings με τέσσερις κοινές εργασίες, χειρίστηκε προσεκτικότερα τις αντιφάσεις, ενώ το Gemini Deep Research παρέθεσε περισσότερες πηγές. Στο ίδιο δείγμα, οι εκτενέστερες αναφορές του Gemini δεν είχαν πάντοτε εξίσου καλή σύνδεση ισχυρισμών και παραπομπών.

Το αποτέλεσμα αφορά τις συγκεκριμένες εργασίες, όχι κάθε μελλοντική αναφορά. Αν η δική σας έρευνα αντλεί υλικό από υπηρεσίες Google, το Gemini μπορεί να ταιριάζει καλύτερα στη ροή εργασίας σας. Και στις δύο περιπτώσεις, η ουσιαστική επιλογή κρίνεται από την κάλυψη του ερωτήματος, την ποιότητα των πηγών και το αν οι κρίσιμες παραπομπές στηρίζουν ακριβώς όσα γράφει η αναφορά.

Τι μετρούν οι δημοσιευμένες συγκρίσεις

Η δοκιμή του Context Rankings έκρινε τη σύνθεση, την ποιότητα και την ελεγξιμότητα των πηγών, καθώς και τη ροή εργασίας. Η διαπίστωση ότι το ChatGPT συνέθεσε καλύτερα μια σύνθετη ερώτηση είναι χρήσιμη για εργασίες με αντικρουόμενα στοιχεία. Η διαπίστωση ότι το Gemini βρήκε περισσότερες πηγές αφορά άλλο κριτήριο: μια πρόσθετη παραπομπή αυξάνει την κάλυψη μόνο όταν προσθέτει σχετική πληροφορία και συνδέεται με τον σωστό ισχυρισμό.

Μια ξεχωριστή δοκιμή της HundredTabs σε πέντε ερευνητικές εργασίες εξέτασε μεταξύ άλλων ένα πραγματολογικό ερώτημα, ανάλυση αγοράς, τάσεις στην εκπαίδευση και ανταγωνιστική θέση εταιρείας. Εκεί το ChatGPT παρήγαγε τις μακρύτερες αναφορές, αλλά ο συντάκτης δυσκολεύτηκε να επαληθεύσει ορισμένους ισχυρισμούς τους. Το Gemini απέδωσε καλύτερα σε εργασίες που αξιοποιούσαν περιεχόμενο του οικοσυστήματος Google και ασθενέστερα στην ανάλυση αγοράς και ανταγωνισμού.

Οι δύο δοκιμές αποδίδουν λοιπόν το μεγαλύτερο μήκος σε διαφορετικό εργαλείο. Δεν μέτρησαν τις ίδιες εργασίες με την ίδια μέθοδο, οπότε το μήκος δεν αποτελεί σταθερό χαρακτηριστικό ή ασφαλή δείκτη ποιότητας για κανένα από τα δύο. Για τον αναγνώστη που θα στηριχθεί σε μια αναφορά, η διαφορά ανάμεσα σε «βρήκε πολλές σελίδες» και «στήριξε το συμπέρασμα στις κατάλληλες σελίδες» είναι πιο χρήσιμη από μια γενική κατάταξη.

Τι μπορείτε να ορίσετε πριν αρχίσει η έρευνα

Στο ChatGPT, η οδηγία της OpenAI για το Deep Research περιγράφει επιλογή αρχείων ή συγκεκριμένων ιστότοπων, δυνατότητα περιορισμού της αναζήτησης σε αυτούς, αναθεώρηση του προτεινόμενου σχεδίου και τελική αναφορά με παραπομπές ή συνδέσμους. Μπορείτε επίσης να αλλάξετε την εστίαση όσο εκτελείται η εργασία. Η πρόσβαση σε συνδεδεμένες εφαρμογές εξαρτάται από το πρόγραμμα, την περιοχή και τις σχετικές άδειες.

Στο Gemini, η παρουσίαση της Google για το Deep Research περιγράφει σχέδιο που ο χρήστης μπορεί να αναθεωρήσει, έρευνα στον ιστό και προαιρετική χρήση περιεχομένου από Gmail, Drive ή Chat. Η δυνατότητα αυτή έχει ιδιαίτερη αξία όταν το ερώτημα αφορά και εσωτερικό υλικό μιας ομάδας. Ένα εσωτερικό υπόμνημα, όμως, μπορεί να τεκμηριώσει τι γνωρίζει ή σχεδιάζει η ομάδα· για έναν δημόσιο ισχυρισμό σχετικά με αγορά ή κανονισμό χρειάζεται κατάλληλη εξωτερική πηγή.

Η ανάθεση επηρεάζει και τη συγκρισιμότητα. Σε μια υποθετική έρευνα αγοράς για Ελλάδα και Κύπρο, χρειάζεται να οριστούν η περίοδος των στοιχείων, οι δύο γεωγραφικές αγορές και τα επιμέρους ερωτήματα πριν εκτελεστεί οποιοδήποτε εργαλείο. Αν το ένα λάβει πρόσβαση σε εσωτερικά αρχεία και το άλλο ερευνήσει μόνο τον δημόσιο ιστό, η διαφορά στο αποτέλεσμα θα αντανακλά και τη διαφορά στις διαθέσιμες πηγές.

Πέντε κριτήρια για την ίδια αναφορά

Ένα επαναχρησιμοποιήσιμο πλαίσιο αξιολόγησης μπορεί να βαθμολογεί κάθε κριτήριο με μηδέν όταν απουσιάζει, ένα όταν καλύπτεται εν μέρει και δύο όταν καλύπτεται επαρκώς. Η κλίμακα είναι συντακτική πρόταση για σύγκριση αναφορών, όχι δημοσιευμένη βαθμολογία των προϊόντων. Το σημαντικό είναι να εφαρμόζεται στο ίδιο ερώτημα και με τους ίδιους κανόνες.

1. Κάλυψη ερωτήματος. Χωρίστε το αρχικό αίτημα σε υποερωτήματα και σημειώστε ποια απαντήθηκαν. Μια καλογραμμένη περίληψη δεν καλύπτει το κενό αν παραλείπει, για παράδειγμα, την Κύπρο από μια σύγκριση που ζητούσε ρητά και τις δύο αγορές. Πλήρης βαθμός σημαίνει ότι το συμπέρασμα προκύπτει από απαντήσεις σε όλα τα ουσιώδη σκέλη.
2. Ποιότητα πηγών. Εξετάστε ποιος παρήγαγε τα στοιχεία και για ποιον σκοπό. Για έναν κανονιστικό ισχυρισμό αναζητήστε το αρμόδιο κείμενο· για ένα μέγεθος αγοράς, τον ορισμό, την περίοδο και τη γεωγραφία της μέτρησης. Πολλές αναδημοσιεύσεις του ίδιου αριθμού δεν ισοδυναμούν με πολλές ανεξάρτητες μετρήσεις.
3. Σύνδεση ισχυρισμού και παραπομπής. Ανοίξτε πρώτα τις παραπομπές των προτάσεων που επηρεάζουν την απόφαση. Ελέγξτε αν η σελίδα στηρίζει το συγκεκριμένο προϊόν, μέγεθος, χρονικό διάστημα και συμπέρασμα που αναφέρει η πρόταση. Σε μια σύνθετη διατύπωση, μία παραπομπή δεν καλύπτει αυτομάτως κάθε επιμέρους ισχυρισμό.
4. Αντιφάσεις. Μια χρήσιμη σύνθεση παρουσιάζει τα αποκλίνοντα ευρήματα και εξηγεί από πού προκύπτει η διαφορά. Συγκρίνετε πρώτα τον πληθυσμό, την περιοχή, την περίοδο και τη μέθοδο. Στοιχεία που αφορούν διαφορετικές αγορές ή διαφορετικό ορισμό του ίδιου όρου μπορεί να είναι ταυτόχρονα σωστά.
5. Αναπαραγωγιμότητα. Κρατήστε το αρχικό αίτημα, το εγκεκριμένο σχέδιο, τους περιορισμούς πηγών και την περίοδο στην οποία αναφέρονται τα δεδομένα. Αυτά επιτρέπουν σε άλλον αναγνώστη να εντοπίσει γιατί μια επανάληψη της έρευνας έδωσε διαφορετικό αποτέλεσμα. Η ίδια εντολή από μόνη της δεν αρκεί όταν έχουν αλλάξει οι προσβάσιμες πηγές.

Το άθροισμα βοηθά να φανεί πού υπερέχει κάθε αναφορά, αλλά χρειάζεται και όριο αποδοχής. Αν ένας αποφασιστικός ισχυρισμός δεν στηρίζεται από την παραπομπή του, η καλή δομή και η εκτενής κάλυψη δεν διορθώνουν το πρόβλημα. Η αναφορά χρειάζεται επανέλεγχο στο σημείο που θα χρησιμοποιηθεί ως τεκμήριο.

Ποια επιλογή ταιριάζει στο δικό σας ερώτημα

Αν η εργασία απαιτεί συνεκτική κρίση πάνω σε ευρήματα που διαφωνούν, ξεκινήστε από το ChatGPT Deep Research και ελέγξτε ιδιαίτερα τις κρίσιμες παραπομπές του. Αν χρειάζεστε ευρύτερη χαρτογράφηση ή σχετικό υλικό που βρίσκεται ήδη σε υπηρεσίες Google, ξεκινήστε από το Gemini Deep Research και εξετάστε αν οι επιπλέον πηγές προσθέτουν πραγματική κάλυψη. Αυτές είναι αφετηρίες βασισμένες στις δημοσιευμένες δοκιμές και στις διαθέσιμες λειτουργίες, όχι εγγύηση αποτελέσματος.

Για να κρίνετε τα δύο εργαλεία στη δική σας εργασία, δώστε τους ίδιο ερώτημα, ίδιο χρονικό και γεωγραφικό πλαίσιο και συγκρίσιμη πρόσβαση σε πηγές. Βαθμολογήστε τα ευρήματα που θα μεταφερθούν στην τελική απόφαση, όχι μόνο την εισαγωγή ή το πλήθος των συνδέσμων. Η αναφορά που καλύπτει το ερώτημα και αντέχει αυτόν τον έλεγχο είναι η καταλληλότερη για τη συγκεκριμένη χρήση.

Διαβάστε επίσης:

• Απαντήσεις ΤΝ με πηγές: μία παραπομπή δεν αποδεικνύει όλη την πρόταση
• ChatGPT ή Gemini στα ελληνικά: η γραμματική δεν κρίνει μόνη τον νικητή
• Business plan για χρηματοδότηση: οι πωλήσεις χωρίς cash flow δεν αρκούν