Firewall AI saja tidak cukup menahan prompt injection pada agen

Firewall AI dapat menyaring pola serangan yang dikenali, tetapi tidak cukup untuk mengamankan agen yang membaca web, email, atau dokumen lalu memanggil alat. Pertahanan yang realistis harus memutus jalur dari konten tak tepercaya ke tindakan berisiko dan membatasi akibatnya ketika deteksi gagal.

Caranya adalah memisahkan proses membaca dan bertindak, menerapkan izin minimum serta otorisasi di luar model, mengisolasi eksekusi, meminta konfirmasi sebelum tindakan sensitif, dan menguji seluruh alur kerja secara adversarial. Sasaran yang masuk akal bukan deteksi sempurna, melainkan memastikan manipulasi model tidak langsung membuka data sensitif atau menghasilkan efek eksternal.

Petakan jalur dari sumber ke tindakan

Mulailah dengan model source–sink. Source adalah tempat penyerang dapat menanam konten, seperti badan email, lampiran, halaman web, dokumen RAG, respons API, keluaran alat, atau memori agen. Sink adalah kemampuan yang berbahaya dalam konteks yang salah, misalnya mengirim email, mengunggah berkas, membuka URL, mengubah data, membaca kredensial, atau menjalankan kode.

Risiko muncul ketika source tak tepercaya dapat memengaruhi sink tanpa pemeriksaan independen. Analisis source–sink OpenAI menjelaskan bahwa serangan yang telah berkembang menyerupai rekayasa sosial dan biasanya tidak tertangkap sistem firewall berbasis klasifikasi; dampak manipulasi karena itu perlu dibatasi sekalipun model berhasil diyakinkan.

Buat inventaris berupa pasangan, bukan sekadar daftar alat: “email eksternal → kirim pesan”, “halaman web → buka URL”, atau “dokumen pemasok → jalankan perintah”. Untuk setiap pasangan, catat data yang dapat dibaca, tindakan yang tersedia, tujuan keluaran, dan kontrol terakhir sebelum efek terjadi. Prioritaskan jalur yang menghubungkan masukan publik dengan kredensial, data pribadi, pembayaran, publikasi, atau eksekusi kode.

Bedakan deteksi dari pembatasan dampak

Fungsi setiap kontrol harus jelas agar kegagalan satu lapisan tidak dianggap sebagai kegagalan seluruh sistem. Filter pola, classifier, pemindaian markup, dan model penjaga terutama mencoba mendeteksi konten mencurigakan. Izin minimum, validasi parameter, sandbox, batas transaksi, dan persetujuan manusia bertugas membatasi dampak apabila konten itu lolos.

• Pemeriksaan masukan: tandai asal konten, pisahkan data dari instruksi yang berwenang, normalisasi encoding, dan karantina lampiran sebelum diproses.
• Pemeriksaan tindakan: cocokkan setiap tool call dengan tujuan pengguna, identitas dan hak aksesnya, jenis data, penerima, serta batas sesi.
• Pembatasan kemampuan: gunakan token berjangkauan sempit, akses baca-saja bila cukup, allowlist tujuan, batas operasi, dan kredensial berumur pendek.
• Pemulihan: simpan jejak audit, sediakan penghentian darurat, dan utamakan tindakan yang dapat dibatalkan bila proses bisnis memungkinkan.

Panduan keamanan agen OWASP menggabungkan least privilege dan validasi masukan dengan isolasi memori, persetujuan manusia, validasi keluaran, pemantauan, serta pengujian adversarial. Matriks kontrol sebaiknya memiliki kolom “yang dicegah” dan “dampak ketika kontrol gagal”, sehingga classifier tidak diperlakukan sebagai mekanisme otorisasi.

Tempatkan kontrol pada batas kepercayaan

Pisahkan komponen yang membaca dari komponen yang bertindak. Proses yang meringkas email atau web tidak memerlukan kredensial untuk mengirim pesan, menghapus data, atau menjalankan program. Teruskan hasil pembacaan sebagai objek terstruktur dengan field terbatas, bukan teks bebas yang langsung menjadi perintah bagi layanan berizin tinggi.

1. Klasifikasikan sumber sebagai tepercaya, internal tetapi tidak otoritatif, atau eksternal. Pertahankan label tersebut ketika data berpindah antarkomponen.
2. Terapkan otorisasi dalam kode atau middleware, bukan melalui system prompt. Model boleh mengusulkan tindakan, tetapi tidak menentukan sendiri apakah tindakan itu diizinkan.
3. Validasi nama alat, parameter, skema, ukuran, tujuan jaringan, dan kepemilikan objek. Tolak parameter tambahan serta akses wildcard.
4. Jalankan browser, parser dokumen, dan kode buatan model dalam sandbox dengan filesystem sementara, akses jaringan terbatas, dan tanpa rahasia yang tidak dibutuhkan.
5. Minta konfirmasi pada titik terakhir sebelum pengiriman data, pembelian, publikasi, perubahan yang sulit dipulihkan, atau eksekusi berprivilege.

Konfirmasi harus menjelaskan tindakan, data yang akan keluar, penerima atau domain tujuan, dan alasan agen mengusulkannya. Tombol persetujuan generik tidak cukup apabila pengguna tidak dapat melihat konsekuensi keputusan. Untuk tindakan otomatis, pemeriksaan kebijakan deterministik tetap diperlukan meskipun model menilai permintaan tersebut aman.

Uji skenario lengkap, bukan satu kalimat serangan

Pengujian harus mengikuti alur kerja nyata. Dalam skenario agen email, masukkan instruksi yang mencoba membuat agen mencari rahasia di pesan lain lalu mengirimkannya ke alamat eksternal. Hasil aman tidak terbatas pada penolakan model: sistem juga menahan serangan bila pencarian rahasia tidak diizinkan, alamat tujuan diblokir, atau pengiriman berhenti pada konfirmasi yang memperlihatkan data keluar.

Untuk agen web, tempatkan instruksi adversarial pada teks halaman, metadata, keluaran alat, dan konten yang muncul setelah navigasi. Variasikan bahasa, instruksi yang menyamar sebagai prosedur bisnis, rangkaian beberapa halaman, dan upaya menyimpan instruksi ke memori. Sertakan pekerjaan normal sebagai kontrol agar pengetatan keamanan tidak membuat agen menolak semua tugas yang sah.

Kompetisi red-teaming yang dianalisis NIST mencakup lebih dari 250.000 percobaan oleh lebih dari 400 peserta terhadap 13 model frontier; setidaknya satu serangan berhasil ditemukan untuk setiap model sasaran. NIST juga menekankan bahwa evaluasi harus terus berubah karena penyerang menyesuaikan teknik dengan model dan pertahanan tertentu, sehingga kumpulan prompt statis tidak membuktikan keamanan.

Pantau jalur berisiko dan uji ulang perubahan

Log perlu menghubungkan identitas pengguna, sumber yang dibaca, label kepercayaan, alat yang diusulkan, parameter yang divalidasi, keputusan kebijakan, konfirmasi, dan hasil eksekusi. Jangan memasukkan kredensial atau data sensitif mentah ke log. Peringatan dapat diarahkan pada perpindahan tujuan mendadak, percobaan alat terlarang, akses lintas pengguna, komunikasi ke domain baru, dan lonjakan rantai tool call.

Ulangi pengujian setelah perubahan model, system prompt, konektor, skema alat, kebijakan izin, parser, retrieval, atau mekanisme memori. Setiap bypass yang ditemukan perlu menjadi pengujian regresi, tetapi red team tetap harus mencari keluarga serangan baru agar pertahanan tidak sekadar menghafal contoh lama. Risiko dasarnya terlihat ketika dokumen membajak tindakan agen: data yang tampak pasif dapat memengaruhi keputusan jika batas kepercayaan tidak ditegakkan.

Ukuran keberhasilan yang lebih berguna adalah apakah tindakan berisiko selalu melewati otorisasi deterministik, rahasia tidak tersedia bagi komponen yang tidak membutuhkannya, sandbox membatasi efek eksekusi, dan operator dapat menghentikan serta menyelidiki penyimpangan. Firewall AI tetap berguna sebagai sensor; arsitektur berlapis menentukan seberapa jauh serangan dapat bergerak ketika sensor tersebut gagal.

Baca juga:

• Prompt injection pada agen AI: satu dokumen dapat membajak tindakan
• Glean membuat agen AI bekerja tanpa prompt—kontrol izin menjadi penentu
• Agen OpenAI lolos dari sandbox dan membobol Hugging Face