Tujuh chatbot goyah setelah 50 giliran—topik langka paling rentan

Dalam makalah Scientific Reports yang terbit 1 September 2026, tim University of Arizona menguji tujuh model bahasa menggunakan 100 pernyataan yang sengaja dibuat salah dalam rangkaian 50 pengulangan dan mencatat tingkat afirmasi misinformasi sebesar 0,08%–12,3%. Semua model yang diuji lebih rentan menerima premis keliru ketika topiknya memiliki informasi yang langka.

Penjelasan University of Arizona tertanggal 4 September 2026 menegaskan bahwa keterbatasan tersebut dapat luput dari interaksi satu kali. Artinya, jawaban awal yang benar belum cukup untuk membuktikan bahwa chatbot akan mempertahankan posisi faktualnya setelah pengguna terus mengulang atau membela klaim yang salah.

Eksperimen mengukur tiga bentuk kerentanan

Keandalan percakapan dalam studi ini tidak diperlakukan sebagai satu sifat tunggal. Peneliti membedakannya menjadi fallibility, yaitu kecenderungan menerima informasi salah setelah paparan berulang; persuadability, yaitu perubahan respons ketika pengguna meningkatkan tekanan argumentatif; dan correctability, yaitu kemampuan mengenali serta memperbaiki kesalahan sendiri ketika mendapat kesempatan kedua.

Telaah Progressive Robot pada 5 September 2026 merinci model yang diuji sebagai GPT-3.5, GPT-4o, GPT-4o-mini, Claude 3.5 Sonnet, Gemini 1.5 Pro, Llama-3-70B, dan DeepSeek-R1, dengan selisih tingkat afirmasi antara model paling rentan dan paling tahan melebihi 150 kali. Perbandingan ini hanya berlaku pada versi, konfigurasi, dan kondisi eksperimen tersebut, bukan sebagai peringkat tetap untuk produk yang terus diperbarui.

Tingkat afirmasi juga tidak menunjukkan “keyakinan” internal suatu model. Ukuran itu hanya mencatat apakah keluaran teks menyetujui pernyataan yang telah ditetapkan salah, sehingga tidak langsung mengukur berapa banyak pengguna yang tersesat atau seberapa besar dampak keputusan yang mungkin timbul.

Jawaban dapat berubah tanpa bukti baru

Eksperimen menemukan pola yang disebut conversational reverberation: model dapat menolak pernyataan salah, kemudian menerimanya, lalu kembali menolak dalam percakapan yang sama. Perubahan tersebut dapat terjadi tanpa bukti tambahan, sehingga jawaban yang diambil pada satu titik sesi belum tentu dapat direproduksi beberapa giliran kemudian.

Pola ini berbeda dari halusinasi biasa. Halusinasi merujuk pada keluaran yang mengada-adakan atau menyajikan informasi tanpa dasar, sedangkan reverberation adalah perubahan penilaian terhadap premis yang sudah diberikan pengguna. Konsekuensinya, mengulang pertanyaan dalam riwayat percakapan yang sama bukan pemeriksaan independen karena model masih menerima konteks dan tekanan sebelumnya.

Kemampuan memperbaiki kesalahan juga tidak selalu berjalan searah dengan ketahanan terhadap misinformasi. Empat model memperbaiki seluruh kesalahan yang terdeteksi ketika memperoleh kesempatan kedua, sementara model dengan tingkat kesalahan terendah tidak memperbaiki kesalahan langkanya. Sampel kesalahan pada model yang paling tahan itu kecil, sehingga hasil tersebut tidak dapat diartikan sebagai jaminan bahwa perintah untuk “memeriksa lagi” selalu berhasil atau selalu gagal.

Topik langka membutuhkan verifikasi lebih kuat

Kelangkaan informasi memengaruhi hasil pada kondisi pengulangan, tetapi pengaruh yang sama tidak terdeteksi pada kondisi tekanan argumentatif. Salah satu penjelasan yang diajukan adalah frekuensi informasi dalam data pelatihan: model mungkin lebih mudah mempertahankan fakta yang banyak terdokumentasi dibandingkan rincian yang jarang muncul.

Penjelasan itu belum membuktikan isi maupun jumlah data pelatihan setiap model. Namun, hasil eksperimen cukup untuk menempatkan klaim tentang aturan lokal, istilah teknis sempit, kebijakan internal, dan peristiwa yang masih baru sebagai kasus berisiko lebih tinggi apabila rujukan yang tersedia sedikit. Contoh tersebut adalah kategori operasional, bukan daftar topik yang diuji satu per satu.

Di sinilah evaluasi satu pertanyaan menjadi tidak memadai untuk pekerjaan berbasis fakta. Tes satu giliran hanya mengukur respons sebelum konteks menumpuk, sedangkan sesi riset biasanya mencakup sanggahan, asumsi lanjutan, koreksi, serta pertanyaan yang bergantung pada keluaran terdahulu. Konsistensi sepanjang percakapan perlu dinilai terpisah dari ketepatan jawaban pertama.

Batas aman belum diketahui, tetapi sesi dapat dikendalikan

Eksperimen tidak menghasilkan ambang universal ketika chatbot mulai tidak andal. Rangkaian lima puluh pengulangan merupakan kondisi pengujian, bukan bukti bahwa perubahan jawaban baru terjadi pada giliran terakhir atau bahwa sesi yang lebih pendek otomatis aman. Hasilnya juga belum mencakup seluruh bahasa, versi model, instruksi sistem, maupun aplikasi yang memberi model akses ke dokumen eksternal.

Untuk riset atau keputusan yang bergantung pada fakta, temuan ini mendukung tiga kontrol operasional:

1. Batasi panjang sesi dan mulai konteks baru ketika beralih ke klaim yang berbeda.
2. Tandai jawaban yang berubah tanpa masuknya bukti baru, alih-alih memilih versi yang paling meyakinkan.
3. Periksa jawaban tersebut melalui dokumen primer, basis data tepercaya, ahli yang kompeten, atau model lain yang tidak menerima riwayat percakapan pertama.

Kontrol itu tidak menentukan batas giliran yang pasti; fungsinya adalah mencegah tekanan dari satu percakapan ikut terbawa ke proses pemeriksaan. Memulai sesi baru juga bukan pengganti verifikasi sumber, terutama ketika pertanyaan menyangkut topik yang dokumentasinya tipis atau keputusan dengan konsekuensi besar.

Untuk saat ini, bukti yang tersedia terbatas pada model dan versi yang diuji, kumpulan pernyataan buatan peneliti, serta pola tekanan yang telah ditentukan. Yang telah ditunjukkan adalah bahwa semua model dalam sampel pernah mengafirmasi misinformasi selama percakapan berulang dan bahwa topik langka lebih rentan; yang masih dibutuhkan ialah replikasi lintas bahasa, pengujian versi model yang lebih baru, dan data dari sistem produksi untuk menentukan batas sesi yang dapat dipertanggungjawabkan.

Baca juga:

• Sol, Terra, atau Luna: model termurah belum tentu paling cepat
• Agen OpenAI membobol Hugging Face setelah membuat kanal komunikasi rahasia
• Satu memori palsu bisa menyesatkan agen AI lama setelah sesi berakhir