Anthropic membuka 250.000 percakapan Claude—tetapi hanya dalam bentuk agregat

Anthropic pada 26 Agustus 2026 mengumumkan pilot yang memungkinkan tiga kelompok peneliti eksternal mempelajari penggunaan nyata Claude melalui Anthropic Insights. Menurut pengumuman pilot Anthropic, Stanford Social and Language Technologies (SALT) Lab, Human Information Processing (HIP) Lab di University of Oxford, dan METR masing-masing menganalisis sekitar 250.000 percakapan Claude.ai atau Claude Code dari April–Mei 2026.

Namun, Anthropic tidak menyerahkan 250.000 transkrip kepada ketiga tim tersebut. Para peneliti merancang pertanyaan dan menganalisis hasilnya secara independen, sedangkan Anthropic menjalankan pemrosesan di infrastrukturnya dan hanya memberikan kategori serta persentase agregat yang telah melalui pemeriksaan hukum dan privasi.

Yang dibuka adalah hasil klasifikasi, bukan transkrip

Anthropic Insights—sebelumnya bernama Clio—memungkinkan pertanyaan terstruktur diterapkan pada kumpulan interaksi nyata tanpa memperlihatkan isi percakapan kepada peneliti. Angka sekitar 250.000 merujuk pada sampel yang dianalisis untuk setiap proyek, bukan jumlah berkas percakapan yang dapat dibaca atau diunduh oleh pihak luar.

Alur program ini terdiri atas empat tahap:

1. Kelompok eksternal menentukan pertanyaan penelitian, misalnya jenis pekerjaan yang dibawa pengguna kepada Claude.
2. Anthropic menjalankan pertanyaan itu terhadap sampel percakapan di sistemnya sendiri.
3. Claude menghasilkan jawaban untuk setiap percakapan, kemudian jawaban tersebut dikelompokkan menjadi kategori.
4. Peneliti menerima deskripsi kategori dan persentase percakapan dalam setiap kelompok, tanpa teks percakapan dasarnya.

Pembagian tersebut memberi peneliti kendali atas pertanyaan dan interpretasi, tetapi tidak atas pengambilan sampel, eksekusi model, atau akses ke data mentah. Anthropic juga membatasi peninjauan kontraktualnya pada privasi pengguna, informasi yang dapat membantu pelanggaran kebijakan, informasi rahasia perusahaan, dan akurasi riset.

Studi Stanford menemukan banyak tugas berkonsekuensi

Hasil terlengkap yang telah menjadi naskah penelitian berasal dari SALT Lab. naskah Human–AI Collaboration at Scale mencatat korpus 249.834 percakapan dan menyatakan bahwa 56% percakapan yang memuat tugas yang dapat ditindaklanjuti diklasifikasikan pada tingkat “konsekuensial” atau lebih tinggi—pekerjaan yang berdampak pada pihak lain atau sulit dibatalkan.

Delegasi dengan tingkat kepentingan tinggi terkonsentrasi pada ranah nasihat dan pekerjaan profesional. Meski demikian, pola dominannya bukan otomatisasi penuh: pengguna umumnya menentukan arah pekerjaan dan menyesuaikan keluaran Claude, sementara model membantu pelaksanaannya.

Penelitian itu juga menemukan friksi dalam kira-kira separuh percakapan. Friksi tidak selalu berarti kegagalan akhir; dalam sejumlah interaksi, kesulitan membuat pengguna memperjelas maksud, memperbaiki permintaan, atau tetap terlibat dalam pemecahan masalah.

Dua proyek lain belum memiliki laporan lengkap. HIP Lab telah menghasilkan temuan awal tentang hubungan antara perilaku Claude dan keadaan pengguna yang terindikasi dalam percakapan, tetapi masih menyelesaikan naskahnya. Analisis METR mengenai produktivitas Claude Code dan perkiraan waktu yang dihemat juga masih berlangsung, sehingga hasil awal kedua proyek tersebut belum setara statusnya dengan naskah SALT.

Agregasi melindungi isi percakapan, tetapi membatasi verifikasi

Desain agregat mengurangi kemungkinan peneliti melihat isi pesan, kode, atau konteks pribadi dari satu sesi. Data yang dibagikan juga menjalani audit privasi pihak ketiga oleh peneliti Imperial College London, sementara keluaran untuk mitra melewati pemeriksaan hukum dan privasi yang sama dengan riset internal Anthropic.

Batas privasi itu sekaligus menciptakan batas metodologis. analisis teknis Anthropic Insights menjelaskan bahwa persentase akhirnya berasal dari penilaian Claude, bukan label kebenaran dasar yang diperiksa manusia pada sampel produksi.

Susunan kata dalam pertanyaan dapat menggeser batas kategori. Para mitra menguji pertanyaan mereka pada WildChat, korpus publik yang memungkinkan perbandingan dengan percakapan sumber, tetapi penggunaan dalam korpus tersebut cenderung lebih kasual dan kreatif daripada lalu lintas Claude yang sebenarnya. Pertanyaan yang tampak bekerja pada WildChat karena itu dapat menghasilkan kategori menyesatkan saat diterapkan pada percakapan profesional atau sesi Claude Code.

Karena tim eksternal tidak dapat membuka transkrip produksi, salah klasifikasi sulit diperiksa setelah pemrosesan. Angka 56% harus dibaca sebagai hasil penerapan rubrik tertentu oleh Claude, bukan pengukuran langsung terhadap keputusan akhir pengguna, mutu pekerjaan yang dihasilkan, atau dampak setelah saran model diterapkan.

Pilot ini belum menjadi akses riset terbuka

Bagi organisasi pengguna AI, pemisahan transkrip dan hasil agregat menjawab pertanyaan tentang apa yang diterima peneliti, tetapi belum menjelaskan seluruh tata kelola data. Informasi yang masih relevan mencakup jenis akun yang dapat masuk ke sampel, dasar pemilihannya, lama penyimpanan hasil antara, batas minimum ukuran kelompok, dan kemungkinan perbedaan perlakuan antara layanan konsumen, Team, Enterprise, dan API.

Program ini juga menyisakan persoalan replikasi. Peneliti luar dapat menentukan pertanyaan dan menerbitkan kesimpulan yang tidak menguntungkan Anthropic, tetapi kelompok lain tidak dapat mengulang analisis secara penuh tanpa akses ke sampel dan pipeline pemrosesan yang sama. Kemandirian analitis dalam pilot ini karena itu tidak sama dengan akses operasional ke basis data Claude.

Anthropic telah menerbitkan keluaran agregat dari ketiga proyek dan membuka formulir minat bagi calon mitra berikutnya. Namun, perusahaan masih menilai apakah program yang lambat dan membutuhkan banyak sumber daya ini dapat diperluas tanpa mengurangi perlindungan privasi, keselamatan, dan mutu penelitian. Untuk saat ini, Anthropic Insights tetap merupakan pilot yang dimediasi perusahaan, sementara laporan lengkap Oxford HIP Lab dan METR masih ditunggu.