AI ajanını üretime almadan önce kimlik, veri ve ağı ayrı sınırlayın

Kurumsal bir AI ajanını güvenle üretime almak için kimliğini insan hesaplarından ayırın; araç ve veri yetkilerini en aza indirin; çalışma ortamını, kalıcı belleği ve ağ çıkışını birbirinden bağımsız sınırlandırın. Yüksek etkili işlemleri yürütme katmanındaki insan onayına bağlayın.

Üretim kararı, ajanın normal görevi tamamlamasına değil, yetkisi dışındaki işlemi yapamadığının kanıtlanmasına dayanmalıdır. Her kontrol için sorumlu ekip, tekrarlanabilir kabul testi, saklanacak kanıt ve yayını durduracak koşul önceden belirlenmelidir.

1. Ajanın görev ve araç sınırını belirleyin

İlk sınır modelin nasıl yanıt vereceği değil, ajanın hangi işi yapabileceğidir. Okuyabileceği kaynakları, çağırabileceği araçları, değiştirebileceği kayıtları ve adına işlem yapabileceği kullanıcıları listeleyin. Tanımlanmamış hedeflere erişim varsayılan olarak reddedilmelidir.

Eylemleri etkilerine göre sınıflandırın: geri alınabilir okuma işlemleri otomatik yürütülebilir; sınırlı etkili yazma işlemleri ek politika denetimine tabi tutulabilir; para transferi, yetki değişikliği, veri silme veya dışarıya ileti gönderme gibi yüksek etkili eylemler ise çalıştırılmadan önce bağımsız onay gerektirir.

• Sorumlu: İş süreci sahibi ve güvenlik mimarı.
• Kanıt: İzinli araçları, veri sınıflarını, hedef sistemleri ve yasak eylemleri gösteren sürümlenmiş kapsam kaydı.
• Durdurma koşulu: Kapsamı tanımlanmamış bir araç, hedef veya geri döndürülemez işlem bulunması.

2. İnsan ve ajan kimliklerini ayırın

Ajan, geliştiricinin kişisel hesabını ya da ekipçe paylaşılan genel bir servis hesabını kullanmamalıdır. Her ajan ayrı bir makine kimliğiyle doğrulanmalı, kısa ömürlü kimlik bilgileri kullanmalı ve yalnızca görevi için gereken kaynaklara erişmelidir. Kullanıcı adına yapılan her veri isteğinde kullanıcının kendi erişim sınırı da uygulanmalıdır.

Microsoft’un kurumsal pilotu, yaklaşık 100 iç kullanıcı için ayrı bir Windows 365 Cloud PC ortamı kurdu; Entra Agent ID ile insan ve ajan kimliklerini ayırırken Defender çalışma zamanı koruması, Purview DLP, Intune politikaları ve ağ kontrollerini gerçek kullanıcılar ve iş yükleriyle sınadı. Sonuç tek bir ürünün başarısı değil, kimlikten uç noktaya uzanan birleşik yapılandırmanın doğrulanmasıydı.

• Sorumlu: Kimlik ve erişim yönetimi ekibi; cihaz politikaları için uç nokta yönetimi ekibi.
• Kanıt: Ajana özgü kimlik, süreli kimlik bilgisi, araç bazında izin dökümü ve başka bir kullanıcının kaydına erişimin reddedildiğini gösteren negatif test.
• Durdurma koşulu: Paylaşılan hesap, genel yönetici yetkisi, joker kaynak izni veya insan oturum belirtecinin ajan tarafından devralınması.

3. Veriyi girişte, bellekte ve çıkışta koruyun

Veri kaybı önleme yalnızca ajanın son yanıtında çalışırsa araç çağrıları üzerinden gerçekleşen sızıntıyı kaçırabilir. Kullanıcı girdileri, getirilen belgeler, e-postalar ve API yanıtları güvenilmeyen içerik olarak işlenmeli; bağlama eklenmeden önce sınıflandırılmalı ve talimatlardan teknik olarak ayrılmalıdır. Kimlik bilgileri ile hassas kişisel veriler modele, araç parametrelerine veya günlüklere aktarılmadan önce maskelenmelidir.

Kalıcı belleği kullanıcı ve oturum sınırlarına göre ayırın, saklama süresini belirleyin ve belleğe yazılan içeriği doğrulayın. Çıkış denetimi yalnızca sohbet metnini değil; dosya yüklemelerini, e-postaları, webhook isteklerini, kod depolarını ve diğer araç çağrılarını da kapsamalıdır.

• Sorumlu: Veri sahibi, gizlilik ekibi ve DLP ekibi.
• Kanıt: Sentetik hassas veriyle yapılan testte yetkisiz okumanın reddedilmesi, dışarı aktarımın engellenmesi ve gizli değerin günlüklerde görünmemesi.
• Durdurma koşulu: Kullanıcılar arası bellek sızıntısı, düz metin kimlik bilgisi kaydı veya onaysız hedefe hassas veri aktarımı.

4. Çalışma ortamını yalıtın, ağ çıkışını varsayılan olarak kapatın

Ajanın çalışma ortamını ana kullanıcı cihazından ve kritik üretim ağından ayırın. Dosya sistemi, süreçler, kimlik bilgileri ve ağ rotaları sınırlandırılmalı; ortam sıfırlanabilmeli ve ele geçirilmesi durumunda erişilebilecek alan küçük kalmalıdır.

Ağ politikasında yalnızca adı, protokolü ve iş amacı önceden belirlenmiş hedeflere izin verin. Alan adı çözümleme, doğrudan IP bağlantısı, alternatif port ve yönlendirme servisi kullanılarak izin listesinin aşılamadığını sınayın. Anthropic’in 31 Ağustos 2026 tarihli açıklaması, bilgi işlem kümelerinde dış trafiği varsayılan olarak engelleme, iç servisler arasında kimlik doğrulama, kalıcı erişimleri azaltma, yalıtımı sıkılaştırma ve ana makine düzeyinde gözlemlenebilirliği genişletme önlemlerinin uygulandığını belirtiyor.

• Sorumlu: Bulut platformu ve ağ güvenliği ekipleri.
• Kanıt: İzinli hedefe başarılı bağlantı ile listelenmemiş alan adı, doğrudan IP ve alternatif port için kaydedilmiş ret sonuçları.
• Durdurma koşulu: Sınırsız internet çıkışı, çalışma ortamında kalıcı API anahtarı veya engellenen bağlantının alarm üretmemesi.

5. Yüksek etkili eylemleri bağımsız olarak onaylayın

Model, önerdiği işlemin yetkili olup olmadığına tek başına karar vermemelidir. Onay denetimi yürütme katmanında bulunmalı; kullanıcıya, araca, hedefe, normalleştirilmiş parametrelere ve son kullanma zamanına bağlanmalıdır. Parametre değiştiğinde eski onayın yeniden kullanılmasına izin verilmemelidir.

OWASP AI Agent Security kontrol listesi, araçlarda en az yetkiyi, yüksek etkili eylemlerde insan onayını, karar ile yürütmenin ayrılmasını, yapılandırılmış izlemeyi ve üretim öncesi kötüye kullanım testlerini öneriyor. Günlük kaydı isteyen kullanıcıyı, ajan ve politika sürümünü, araç çağrısını, onay kararını, sonucu ve ilişkilendirme kimliğini göstermeli; sırları ve hassas içeriği açık biçimde saklamamalıdır.

• Sorumlu: Uygulama sahibi ve güvenlik operasyon merkezi.
• Kanıt: Süresi dolmuş, farklı parametreye bağlı veya yetkisiz kişiden gelen onayların reddedildiğini gösteren kayıtlar.
• Durdurma koşulu: Ajanın onay servisini atlayabilmesi, kendi risk sınıfını düşürebilmesi veya kritik işlemin ilişkilendirilebilir kayıt bırakmaması.

6. Üretim kapısını beklenen retlerle sınayın

Kabul paketi doğrudan ve dolaylı istem enjeksiyonunu, yetki yükseltmeyi, başka kullanıcı verisine erişimi, bellek zehirlemeyi, veri sızdırmayı, onay atlamayı, sınırsız araç zincirini ve ağ sınırı ihlalini kapsamalıdır. Başarı ölçütü yalnızca saldırı girişiminin reddedilmesi değildir; uygun alarmın oluşması ve gerekiyorsa çalışmanın otomatik durması da doğrulanmalıdır.

1. Üretime çıkacak model, istem, araç politikası, bellek, veri kaynağı ve erişim yapılandırmasının sürümlerini sabitleyin.
2. Her kötüye kullanım senaryosu için beklenen ret, alarm ve durdurma davranışını kaydedin.
3. İşlem süresi, maliyet, yeniden deneme ve araç zinciri sınırları aşıldığında ajanın durduğunu doğrulayın.
4. Acil durdurma yetkisini ve kimlik bilgileri iptal edildiğinde devam eden oturumların kesildiğini sınayın.
5. Yüksek riskli bir test başarısızsa yayını engelleyin; istisnayı yalnızca telafi edici kontrol ve kalan risk resmen onaylandığında değerlendirin.

Model, araç, veri kaynağı, sistem istemi, bellek, ağ politikası veya sağlayıcıdaki önemli değişikliklerden sonra ilgili kabul testlerini yeniden çalıştırın. Ajan, yetkisi dışındaki görevi tamamlayamıyor ve bu girişim zamanında görülebiliyorsa üretim sınırı doğrulanmış olur.

Ayrıca okuyun:

• Hugging Face’e ilk adım: Yanlış modeli çalıştırmadan önce üç kontrol
• Alice 140 milyon dolar aldı: Yapay zekâ güvenliği ayrı bir pazara dönüşüyor
• Yapay zekâ veri merkezi borcu neden riskli? Dört kırılma noktası