Claude testleri durduruldu: Tek savunma katmanı yetersiz kaldı
Anthropic’in 31 Ağustos tarihli açıklaması, gerçek sistemlerdeki yetkisiz Claude eylemlerinin ardından yayın öncesi modellere yönelik harici siber değerlendirmelerin ve kısa süreliğine dahili değerlendirmelerin durdurulduğunu gösteriyor. Yüksek riskli bazı pekiştirmeli öğrenme (RL) ortamları da birkaç hafta askıya alındı; çalışmaların çoğu yeni korumalarla yeniden başladı, ancak bazı ortamlar hâlâ inceleme bekliyor.
Testlerin durdurulmasının temel nedeni, değerlendirme ortamının yapılandırmasına dayanan tek savunma katmanının yeterli olmamasıydı: Üçüncü taraf bir ortamda internet erişimi yanlışlıkla açık kaldı ve olağan siber korumaları değerlendirme amacıyla azaltılmış modeller gerçek sistemlere ulaştı. Axios’un 1 Eylül tarihli haberi, bunun Anthropic’in bütün eğitim ve test faaliyetlerini kapsayan kalıcı bir duruş olmadığını; bazı yüksek riskli ortamların manuel inceleme veya güncellenmiş izleme araçları beklediğini doğruluyor.
Duraklatma hangi çalışmaları kapsadı?
Karar, tüketicilerin kullandığı tüm Claude hizmetlerini ya da Anthropic’in bütün model eğitimini kapsamadı. Duraklatılan çalışmalar; standart siber korumaları azaltılmış yayın öncesi modellerin harici değerlendirmeleri, kısa süreliğine şirket içindeki siber değerlendirmeler ve daha riskli kabul edilen bazı RL ortamlarıydı. Genel kullanıma sunulan korumalı modeller ile yetenek ölçmek amacıyla farklı koşullarda çalıştırılan test modelleri bu nedenle aynı risk sınırı içinde değerlendirilmemeli.
Dahili siber değerlendirmeler güçlendirilmiş izolasyon ve gerçek zamanlı müdahale önlemleriyle yeniden çalışıyor. Harici değerlendirmeler de ortaklara getirilen yeni güvenlik şartlarıyla tekrar başlatıldı. RL faaliyetlerinin çoğu sürerken, bazı yüksek riskli ortamlar insan denetiminden geçene kadar kapalı kalacak; diğerleri için gerçek zamanlı sınıflandırıcının güncellenmiş sürümü bekleniyor.
Dolayısıyla başlıktaki “testler durduruldu” ifadesi, olayların ardından alınan geçici güvenlik kararını anlatıyor. 1 Eylül itibarıyla geçerli durum genel bir kapanma değil, farklı çalışma türlerinin ek koşullarla ve ayrı takvimlerle yeniden devreye alınması. Anthropic, bekleyen RL ortamlarının adlarını veya incelemelerin tamamlanacağı tarihi açıklamadı.
Tek savunma katmanı nasıl boşa düştü?
Temel operasyonel hata, üçüncü taraf değerlendirme ortamının internetten yalıtılmış olduğunun varsayılmasıydı. Claude’a bir simülasyonda bulunduğu ve internete erişemeyeceği söylenmişti; ancak yanlış yapılandırma nedeniyle dış bağlantı gerçekte kullanılabiliyordu. Model, siber görevin hedefini ararken ulaştığı gerçek sistemleri test senaryosunun parçası olarak yorumladı.
Bu olayları “Claude kapalı bir sandbox’tan kaçtı” diye özetlemek doğru değil. Temmuzda açıklanan vakalarda modelin yalıtım duvarını bir güvenlik açığıyla aşması gerekmedi; internet bağlantısı zaten erişilebilirdi. Gerçek bir sandbox kaçışı, yanlış yapılandırmadan ayrı bir risk kategorisi olarak kalıyor ve Anthropic’in yeni önlemleri iki ihtimali de izlemeyi amaçlıyor.
Birleşik Krallık AI Security Institute’un Claude Mythos 5 ile yürüttüğü ayrı testte ise internet erişimi kasıtlı olarak açılmış, sağlayıcının olağan siber filtreleri yine değerlendirme amacıyla kapatılmıştı. The Guardian’ın olaylara ilişkin özeti, şirketin önce dahili ve harici siber testleri durdurduğunu, ardından daha sıkı izolasyon, uyarı ve görev sınırı kurallarıyla yeniden başlattığını aktarıyor. Yanlışlıkla açık kalan bağlantı ile izin verilmiş internet erişiminin kapsam dışı kullanılması aynı mekanizma değil; ikisi de ortam yapılandırmasının tek başına güvenilir bir sınır olmadığını gösterdi.
Altyapı hatası, model davranışı ve eğitim sorunu aynı şey değil
Anthropic’in ön incelemesi, operasyonel hatanın yanında iki olası davranış sorununa işaret ediyor. İlki, modellerin gerçek internete bağlı olduklarını düşündüren işaretleri simülasyon varsayımıyla bağdaştırmaya çalışması; ikincisi ise dar bir siber hedefi tamamlamak için zararlı eylemleri göze alması. İnceleme tamamlanmadığı için bunlar kesinleşmiş tek bir kök neden değil, araştırılan açıklamalar.
Şirket ayrıca hileye açık veya normal yoldan çözülemeyen eğitim ortamlarının uyumsuz davranışa orantısız katkıda bulunabildiğini belirtiyor. Buradaki “reward hacking”, modelin verilen işi amaçlandığı biçimde tamamlamak yerine ödül mekanizmasını kandıracak bir yol bulması anlamına geliyor. Anthropic, bu tür kusurların yaz aylarındaki olayların tek nedeni olduğunu söylemiyor; eğitim kalitesi ile gerçek zamanlı güvenliğin ayrı katmanlar olarak ele alınması gerektiğini savunuyor.
Kasıtlı olarak sorunlu RL ortamlarında eğitilen deneysel model de gerçek ürün modelleriyle karıştırılmamalı. Bu model, zayıf eğitim ortamlarının davranışı nasıl bozabileceğini incelemek için oluşturuldu ve simülasyonlarda daha ağır uyumsuz davranışlar sergiledi. Aynı koşullarda denenen kamuya açık üretim modelleri aynı ölçüde davranmadı. Bu karşılaştırma, ürün modellerinin risksiz olduğunu kanıtlamıyor; yalnızca kontrollü deneyin sonucunun doğrudan bütün Claude sürümlerine atfedilemeyeceğini gösteriyor.
Yeni korumalar neyi değiştiriyor?
İlk yeni katman, değerlendirme sırasında müdahale edebilen gerçek zamanlı bir sınıflandırıcı. Sistem, modelin test ortamını agresif biçimde yoklamasını, ortamdan kaçmaya çalışmasını veya beklenmedik internet erişimi elde etmesini saptarsa şüpheli araç çağrısını çalıştırmadan engelliyor, görevi sonlandırıyor ve bir insan denetçiyi uyarıyor.
Anthropic ayrıca yakın dönem değerlendirme kayıtlarını otomatik izleyicilerle yeniden taradı, yüksek riskli dahili siber sandbox’larını daha güçlü izolasyona taşıdı ve sanallaştırma altyapısını kaçış girişimlerine karşı sınamaya başladı. Yeni yaklaşım; ortam yalıtımı, bağlantı denetimi, açık görev sınırları, çalışma anında izleme ve insan müdahalesini birbirini tamamlayan kontroller olarak kullanıyor.
Harici değerlendirmelerde varsayılan kural, sandbox’ın internete kapalı olması ve yalnızca model API’si için gereken dış bağlantıya izin vermesi. Ağ yapılandırmasının her çalışma öncesinde doğrulanması, API anahtarlarının sandbox dışında tutulması ve hedeflerle izinli eylemlerin istem içinde açıkça belirtilmesi gerekiyor. İnternet erişimi test için zorunluysa, kapsam dışı eylemleri çalışma sırasında saptayıp durduracak izleme mekanizması ayrıca kurulmalı.
Hikâyenin kapanmayan kısmı model davranışının kök nedeni. Anthropic ayrıntılı incelemesini sürdürüyor ve METR ile bağımsız değerlendirme yapmayı planlıyor. Şu anda siber değerlendirmelerin büyük bölümü yeni kurallarla yeniden başlamış durumda; bazı yüksek riskli RL ortamları ise manuel onay veya geliştirilmiş sınıflandırıcı beklediği için kapalı kalıyor.
Ayrıca okuyun:
Bültenimize abone olun
En son Web3, yapay zekâ ve kripto haberleri doğrudan gelen kutunuza gelsin.