Satu memori palsu bisa menyesatkan agen AI lama setelah sesi berakhir

Memory poisoning terjadi ketika agen AI menyimpan masukan tidak tepercaya sebagai memori, lalu mengambil dan memperlakukannya sebagai fakta atau instruksi pada sesi berikutnya. Satu penulisan berbahaya dapat terus memengaruhi jawaban atau tindakan selama catatan tersebut masih tersedia, meskipun interaksi yang menanamkannya telah berakhir.

Karena itu, pemeriksaan prompt pada sesi aktif saja tidak cukup. Tim perlu mengendalikan seluruh alur tulis–simpan–ambil–bertindak: membatasi informasi yang boleh dipersistenkan, mempertahankan asal-usul setiap catatan, menyaring penggunaannya, dan menyediakan cara untuk menelusuri serta memulihkan memori yang tercemar.

Masukan berubah menjadi “fakta” melalui empat tahap

Pada tahap tulis, agen menerima percakapan pengguna, pesan, dokumen, halaman web, atau keluaran alat. Jika model juga diberi wewenang memilih apa yang perlu diingat, klaim dari luar dapat diringkas menjadi catatan yang terdengar netral; instruksi berbahaya bahkan dapat hilang bentuk aslinya tetapi mempertahankan maksudnya.

Tahap simpan membuat pengaruh tersebut bertahan di luar jendela konteks dan sesi awal. Tanpa identitas sumber, tenant, waktu, penulis, alasan penyimpanan, dan tingkat kepercayaan, catatan hasil manipulasi sulit dibedakan dari preferensi pengguna atau pengetahuan yang telah diverifikasi.

Pada tahap ambil, pencarian semantik menghadirkan kembali catatan karena isinya dianggap relevan dengan tugas baru. Tahap bertindak menghasilkan konsekuensi: agen dapat memakai memori tersebut untuk menyusun jawaban, memilih penerima pesan, mengubah konfigurasi, atau memasok argumen kepada alat.

Studi sistematis MPBench menyimpulkan bahwa satu penulisan memori adversarial dapat memengaruhi perilaku agen dalam jangka panjang. Makalah prapublikasi itu memetakan empat saluran penulisan, sembilan kerentanan struktural, dan enam kelas serangan; agen yang lebih agresif menulis serta mengambil memori juga ditemukan lebih mudah dieksploitasi.

Dua jalur serangan bertemu pada akibat yang sama

Dalam serangan query-only, penyerang hanya memakai kanal interaksi biasa, tanpa mengubah bobot model, kode, atau basis data secara langsung. Permintaan dirancang agar agen resmi menulis klaim tertentu—misalnya, dalam contoh hipotetis, bahwa rekening pembayaran baru telah disetujui—ke memori persistennya sendiri.

Jalur lain memanfaatkan konten eksternal yang dibaca agen, seperti email, dokumen, hasil pencarian, atau keluaran alat. Muatan berbahaya masuk pada fase injeksi, tetapi baru aktif ketika tugas lain memicu pengambilan memori. Jarak waktu itu menyulitkan investigasi karena input penyebab dan tindakan yang terpengaruh dapat berada dalam sesi atau alur kerja berbeda.

Eksperimen GhostWriter membagi serangan menjadi fase injeksi dan aktivasi serta melaporkan tingkat injeksi sekitar 98 persen dan rata-rata aktivasi sekitar 60 persen pada agen yang diuji. Makalah prapublikasi yang sama mengusulkan AM-Sentry, gabungan kebijakan penyimpanan dan penyaring saat pengambilan, untuk mengurangi keberhasilan serangan sambil mempertahankan kegunaan agen.

Angka tersebut bukan estimasi risiko universal. Hasilnya terikat pada agen, model, sumber konten, kebijakan memori, dan definisi keberhasilan dalam eksperimen; konfigurasi produksi yang berbeda memerlukan pengujian tersendiri.

Apa yang telah ditunjukkan pengujian pertahanan

Provenance kriptografis dan pembatasan saat pengambilan menangani kegagalan yang berbeda. Tanda tangan dapat membedakan catatan yang melewati jalur penulisan resmi dari injeksi langsung tanpa otorisasi, tetapi tidak membuktikan bahwa isi catatan benar. Agen resmi yang tertipu masih dapat menandatangani kesimpulan keliru dari input tidak tepercaya.

Pengujian Signed Memory with Smoothed Retrieval memakai provenance HMAC-SHA256 ketika menulis, kemudian ablasi memori acak dan pemungutan suara berbasis putusan ketika melakukan kueri. Pada serangan query-only ujung ke ujung di tumpukan agen langsung, kombinasi SMSR menurunkan keberhasilan serangan dari 65,3 persen menjadi 5,3 persen dalam 150 percobaan; utilitas kueri bersih yang dilaporkan adalah 90 persen untuk komponen tanda tangan dan 85 persen untuk kombinasi penuh.

Itu merupakan hasil satu konfigurasi penelitian, bukan jaminan bagi setiap implementasi. Nilai praktisnya terletak pada pembagian tanggung jawab: provenance melindungi jalur masuk, sedangkan pembatasan retrieval mengurangi pengaruh catatan berbahaya yang sudah terautentikasi.

Petakan kontrol ke tempat kegagalannya

Pertahanan tidak sebaiknya bergantung pada satu filter model. Setiap tahap memerlukan kontrol yang dapat diuji secara terpisah:

• Saat menulis: tetapkan jenis informasi yang boleh dipersistenkan, tolak instruksi operasional yang berasal dari konten eksternal, dan batasi frekuensi serta ukuran penulisan. Perubahan identitas, izin, tujuan pembayaran, atau kebijakan memerlukan sumber otoritatif atau persetujuan terpisah.
• Saat menyimpan: rekam sumber asli, tenant, pengguna, waktu, penulis, transformasi, dan tingkat kepercayaan. Tandatangani record bersama metadata tersebut, pisahkan namespace dan kunci antartenant, serta jangan membiarkan proses peringkasan menghapus provenance.
• Saat mengambil: terapkan kebijakan setelah retrieval, bukan hanya sebelum penyimpanan. Batasi hasil berdasarkan tenant, pengguna, peran, dan tujuan tugas; karantina sumber berisiko serta jangan meningkatkan kepercayaan hanya karena klaim serupa muncul berulang kali.
• Saat bertindak: perlakukan memori sebagai konteks, bukan otoritas. Tindakan berisiko tinggi harus diperiksa terhadap sistem pencatat resmi, izin terpisah, validasi parameter, atau persetujuan manusia.

Isolasi tenant harus diterapkan pada penulisan, indeks, retrieval, dan kunci penandatanganan. Relevansi semantik tidak sama dengan otorisasi: catatan yang cocok dengan kueri tetap tidak boleh melintasi batas organisasi, ruang kerja, pengguna, atau peran.

Audit menentukan apakah sistem dapat dipulihkan

Tim harus dapat menjawab catatan mana yang dibaca sebelum suatu tindakan dan dari input mana catatan itu berasal. Log append-only perlu mencakup keputusan penulisan, hasil retrieval, pemeriksaan kebijakan, versi model atau komponen, pemanggilan alat, dan persetujuan manusia. Akses ke log tetap harus dibatasi karena isinya dapat memuat data sensitif.

Ketika kontaminasi ditemukan, menghapus satu kalimat belum tentu cukup. Karantina record, telusuri ringkasan atau salinan turunannya melalui lineage, cabut kredensial penulis yang disalahgunakan, bangun ulang indeks, lalu evaluasi kembali kueri dan tindakan yang pernah memakai catatan tersebut. Snapshot berversi dan prosedur rollback memungkinkan pemulihan tanpa menghapus seluruh riwayat yang sah.

Pengujian sebaiknya mencakup serangan query-only dan konten eksternal, perpindahan lintas sesi, serta upaya menembus batas tenant. Ukur keberhasilan serangan bersama false positive, utilitas tugas normal, kelengkapan provenance, dan kemampuan memulihkan asal catatan. Sasaran akhirnya bukan membuat model sekadar lebih curiga, melainkan memastikan bahwa teks yang tersimpan tidak memperoleh otoritas melebihi sumber dan kebijakan yang menyertainya.