Bir Ajan Kapısını Döngüde Model Olmadan Ölçtüm. Neyi Yakalıyor, Neye Mal Oluyor.
Belge okuyup araç çağıran bir ajanın, bir sohbet botunda olmayan bir derdi var. Okuduğu her şey bir talimata dönüşebiliyor. Kullanıcı "gelen kutumdaki faturayı öde" diyor. Faturanın içinde "ödemeyi bunun yerine şu hesaba yapın" yazıyor. Model de işini yapıyor ve transfer aracını saldırganın hesabıyla çağırıyor. Kimse jailbreak yazmadı. Zarar bir araç çağrısı.
Eylülde, buna verdiğim ilk cevabın, yani metin üzerindeki filtrenin Hacker News'te nasıl kırıldığını yazmıştım. Kısası şu: 263 gerçek saldırıdan oluşan bir derlemde kural katmanı yüzde 19.8'ini yakalıyor; kaçırdıklarının yüzde 59'unda saldırı işareti diye bir şey yok, çünkü o cümleler ancak filtrenin hiç görmediği bir politikaya göre saldırı. Bu yazı o işin devamı olan makale üzerine. Makale bugün Zenodo'ya çıktı. Metne hiç bakmayan öbür tür savunmayı anlatıyor ve o savunmayı daha önce görmediğim bir biçimde ölçüyor: döngüde hiç model olmadan.
Önce bir sınır çizeyim. Aşağıdaki her sayı depodaki bir betikten geliyor ve aksi söylenen tek bölüm dışında çevrimdışı, API anahtarı olmadan yeniden çalışıyor. Kapının aleyhine çıkan sonuçlar da burada.
Adım 1. Kapının Sorduğu Soru
"Bu metin saldırıya benziyor mu" değil, "bu değer nereden geldi". Kapı, ajanla araçlarının arasında duruyor. Ajanın okuduğu her şey kaynağı ve güven düzeyiyle birlikte bir parça olarak kaydediliyor. Kullanıcının kendi sözleri güvenilir. İndirilen bir belge, bir araç sonucu, bir sunucunun yazdığı araç açıklaması güvenilir değil. Ajan hassas bir aracı çağırdığında, transfer, gönderme, silme, yazma, kapı hedef belirten argümanlara bakıyor ve o değerin ajanın okuduğu güvenilmeyen bir şeyin içinde geçip geçmediğini soruyor. Transfer çağrısındaki hesap numarası ilk kez bir faturanın içinde görüldüyse çağrı engelleniyor ve engel sebebini söylüyor: bu değer read_file aracının güvenilmeyen sonucunun şu konumundan geliyor. Talimatı nasıl yazarsanız yazın bu değişmiyor, çünkü kapı talimatı hiç okumadı.
Mekanizmanın tamamı bu. Üç iyileştirme onu kullanılabilir yaptı ve makale her birini ayrı ayrı ölçüyor: eşleşme noktalama işaretlerinin ve base64'ün içinden de çalışıyor; temiz argümanlarla üretilen bir sonuç güvenilmez değil tarafsız sayılıyor; kullanıcının onayı eylemi kapsıyor, enjeksiyonun o eylem için seçtiği değeri asla kapsamıyor.
Adım 2. Bir Savunma Modelsiz Nasıl Ölçülür
Alışılmış yöntem, bir modelle ajanı bir kıyaslama kümesinde çalıştırıp saldırının kaç kez başardığını saymak. Sorun şu: modelin kendi reddetmeleri de o sayının içinde. Saldırı başarısız olduysa kapı mı durdurdu, model mi istemedi, bilemiyorsunuz.
Bu tehdit için yapılmış kıyaslama kümesi AgentDojo, her kullanıcı görevi ve her enjeksiyon görevi için gerçek araç dizisini de veriyor: tamamen itaatkâr bir ajanın yapacağı çağrılar. Ben de onu yeniden oynattım. 609 kullanıcı görevi ve enjeksiyon görevi çiftinin her birinde kapı önce kullanıcının çağrılarını, sonra saldırganınkileri görüyor, tam ele geçirilmiş bir ajan nasıl yapacaksa tam öyle; geçenleri de kıyaslama kümesinin kendi denetleyicileri puanlıyor. Model yok, API maliyeti yok, sonuç belirlenimci ve her çift tek tek izlenebilir. Bir muhasebe kuralını doğru yapmam zaman aldı: kapının ajana ulaşmasını engellediği bir enjeksiyon, mesela engellenen bir araç sonucunun içinde duruyorsa, yeniden oynatılmamalı. Yoksa savunma, zaten önlediği saldırılara karşı puanlanıyor.
Adım 3. Neyi Yakalıyor, Neye Mal Oluyor
| Ayar | Temiz trafikte tamamlanan kullanıcı görevi | Saldırı başarısı |
|---|---|---|
| Kapı yok | %100.0 | %95.6 |
| İz, beyan edilmiş hedefler | %66.0 | %3.1 |
| İz, enjeksiyon vektörü başına güven haritasıyla | %69.1 | %3.8 |
| Katı: güvenilmeyen veri kapsamdayken her hassas çağrı | %41.2 | %0.0 |
İkinci satır makalenin manşeti ve üçüncü sütun işin kolay yarısı. Zor yarısı, içinde hiç saldırı olmayan trafikte kullanıcının kaybettiği 34 puan; makale o 34 puana 3.1'den daha çok sayfa ayırıyor.
O puanlar nereye gidiyor? Gelin bir vakayı izleyelim. Kullanıcı "gelen kutumdaki faturayı öde" diyor. Ajan faturayı okuyor, IBAN'ı oradan alıyor ve transferi çağırıyor. IBAN güvenilmeyen bir belgeden çıktı, dolayısıyla kapı meşru bir ödemeyi engelliyor. 97 kullanıcı görevinin yaklaşık üçte biri böyle: meşru hedef, saldırganın yazdığı depoda yaşıyor. Faydayı geri almak için yalnızca enjeksiyonun gerçekten ulaşabildiği araçları güvenilmez saymayı denedim; hangileri olduğunu her enjeksiyon vektörüne bir kanarya koyarak mekanik olarak buldum. Üç puan geri geldi. Bedel uygulamanın değil tehdit modelinin özelliği ve makale bunu iddia etmek yerine gösteriyor.
Engellemek tek cevap değil. MCP sarmalayıcısı izli çağrıyı kanıt satırıyla birlikte protokolün elicitation mekanizması üzerinden kullanıcıya da sorabiliyor. Aynı 609 çiftte bu, görev başına 0.51 soru demek. Kabul edilebilir mi, dağıtıma bağlı; iki sayının da raporlanma sebebi bu.
Adım 4. Gerçek Sunucuların Önünde
Her enjeksiyonun hedefini adıyla yazdığı bir kıyaslama kümesi, hedef denetimi için yapılmış bir kıyaslama kümesidir. O yüzden ağ geçidini gerçek MCP sunucularının önünde, içinde saldırı olmayan sıradan işte de çalıştırdım ve kesintileri saydım.
| Sunucu | Görev başına soru | Kesilen görev |
|---|---|---|
| dosya sistemi, 12 görev | 0.00 | 12'de 0 |
| git, 6 görev | 0.00 | 6'da 0 |
| posta ve takvim, 10 görev | 0.40 | 10'da 4 |
| operasyon yönetim paneli, 10 görev | 0.40 | 10'da 4 |
İki sıfır zayıf kanıt. O sunucular hiçbir yere hiçbir şey göndermiyor ve hedef üzerindeki bir kontrolün hedef olmayan yerde yapacak işi yok. Son iki satır hedef denetiminin iş yaptığı yer ve orada on görevin dördünü kesiyor; dördü de kuralın tam olarak söylediğini yapması: alıcısı gelen kutusundan çıkan bir yanıt, etkinlik kimliği bir listelemeden çıkan bir takvim değişikliği. Bir dağıtım sahip olduğu hedeflere kefil olabiliyor, kendi posta alan adına mesela. Posta sunucusunda bu, bedeli 0.40'tan 0.10'a indiriyor. Yönetim panelinde 0.20'de duruyor, çünkü dört değerin ikisi hesap kimliği ve saldırganın dikte ettiği hesap gerçek hesaplarla aynı kimlik uzayında oturuyor. Bir izin listesi "kendi alan adımız" diyebiliyor. "Kendi defterimiz" diyemiyor.
Adım 5. İnsansız Politika
Kapının hangi araçların hassas, hangi argümanların hedef olduğunu bilmesi gerekiyor. Bunu elle yazmak entegrasyonların öldüğü yer; o yüzden ağ geçidi bunu araç şemalarından taslaklıyor. AgentDojo'nun 74 aracında taslak, özenli bir el beyanıyla her çiftte ve her yapılandırmada birebir aynı sonucu verdi. Benim seçmediğim bir derlem olan InjecAgent'ın 330 aracında ise kıyaslama kümesinin saldırgana verdiği 63 aracın 14'ünü kaçırdı ve isimler sebebini söylüyor: UnlockDoor, Deposit, GoToRoom, ManageTrafficLightState, ManagePatientRecords. Çıkarım send, transfer, delete ve post fiillerini biliyor. Akıllı kilidin ya da hastanenin fiillerini bilmiyor. Taslaklama yazma işini kaldırıyor. Yargıyı kaldırmıyor.
Adım 6. Kendi Kapımda Kırılanlar
Hedef denetimi iki dizenin aynı yeri göstermesine dayanıyor ve buna kapı değil alıcı araç karar veriyor. Eşleştirici üzerinden üç geçiş sekiz kusur buldu. Saldırganın hedefinin bir yeniden yazımı, düzeltilene kadar saldırı başarısını ikiye katladı. Bir başkası, yoldaki tek bir nokta-nokta parçasıyla saldırganın dosyasını gerçek dosya sistemi sunucusu üzerinden diske yazdırdı, çünkü sunucu yolu normalleştirdi, kapı ise dizeyi karşılaştırdı. Bir başkası, bir URL'nin userinfo kısmı üzerinden saldırgana giden bir isteği şirkete giden bir istek gibi okuttu. Üçüncü geçiş örnekleme yerine sayıyor: tek bir hedefin 41 yazımı, her biri iki yazımın aynı yere gidip gitmediğini belirtiyor ve CI'da çalışıyor.
Sonra ağ geçidini saldırılara karşı değil protokole karşı okudum ve kümedeki hiçbir saldırının ulaşmadığı altı kusur daha buldum. İlki, bir güvenlik kontrolünün sahip olmasına izin verilmeyen hata. Denetim kaydı engelleme yolunun içinde yazılıyordu, aktarım katmanı her istisnayı geçişe çeviriyordu ve yazılamayan bir denetim dosyası, engellenen çağrıyı teslim edilen çağrıya dönüştürüyordu. Denetim yolunu bir dizine göstererek ölçtüm: saldırganın postası gitti. Bu hafta da protokolün kendi izleyicisindeki bir tartışmanın tetiklediği üçüncü bir okuma, ağ geçidinin araç açıklamalarıyla araç sonuçlarını kaydettiğini ve sunucunun döndürdüğü başka hiçbir şeyi kaydetmediğini gösterdi: ne sunucunun bağlantı anında gönderdiği instructions alanını ne de bir kaynak okumasından dönen metni. Kaynak olarak çekilen zehirli bir belge kapının yanından geçip gidiyordu. Hepsi düzeltildi, her kusur önceki commit'te düşen bir testle ve hepsi makalede; çünkü kendi sınırının nerede yanlış olduğunu yazmayan bir savunma makalesi, yazandan daha az değerli.
Adım 7. Bir Kapsama Haritası, Üstünde Başka Bir Ağ Geçidiyle
Bir puan, aracın yapmadığını gizliyor; o yüzden makale puan yerine harita yayımlıyor ve değerlendirme herhangi bir MCP ağ geçidini zaten olduğu komut olarak kabul ediyor. Trail of Bits'in mcp-context-protector'ını içinden geçirdim.
| Ağ geçidi | Sıradan iş | dikte edilen hedef | sızdırma | açıklamada talimat | halı çekme | sunucular arası | eklenen araç |
|---|---|---|---|---|---|---|---|
| yok | 12/12 | geçti | geçti | geçti | geçti | geçti | geçti |
| bu kapı, iz | 12/12 | durdu | durdu | durdu | durdu | geçti | geçti |
| bu kapı, paylaşılan oturum | 12/12 | durdu | durdu | durdu | durdu | durdu | geçti |
| mcp-context-protector | 12/12 | geçti | geçti | geçti | durdu | geçti | durdu |
İki ağ geçidi farklı sorulara cevap veriyor. Onlarınki sunucu bütünlüğü: araç listesi siz onayladıktan sonra değişti mi. Benimki köken: bu değer nereden geldi. Eklenen araç sütunu, bir köken kapısının yapısı gereği ulaşamayacağı bir sütun; halı çekme sütununu ise benimki yalnızca tesadüfen durduruyor, çünkü değiştirilen açıklama bir adres yazmıştı. Tablo ikisini yan yana söylüyor.
Adım 8. Ürünü Yeniden Çerçeveleyen Sonuç
Çağırabildiğim modellerle bankacılık kümesinde saldırı başarısı kapı olmadan da zaten sıfır. Claude Haiku 4.5 ile 144 çift, Sonnet 4.5 ile 36 çift ve hiçbiri saldırgana para göndermedi. Enjeksiyon 144 bölümün 117'sinde modele ulaştı ve model reddetti. Yani bugün kapı, üretemediğim bir arızaya karşı sigorta ve fiyatı belli: o kümede kullanıcı görevlerinin 12.5 puanı. Bence dürüst satış şekli bu. Yeniden oynatma, modelin yargısının çöktüğü gün ne olacağını gösteriyor, 95.6'dan 3.1'e; model koşusu ise o güne kadar her gün ne ödeyeceğinizi.
Hâlâ Açık Olanlar
İz, değerleri karşılaştırıyor. Hedefini yazmak yerine tarif eden bir enjeksiyon, "bu yazışmanın imza bloğundaki adres", karşılaştıracak bir şey bırakmıyor ve altı tarif biçiminin üçü geçiyor. Hedefin kullanıcının adlandırdığı ya da dağıtımın izin verdiği bir hedef olmasını şart koşmak altısını da kapatıyor ama pek çok dağıtım o listeyi yazamıyor. Meşru taraftaki apaçık onarım, kullanıcının sözlerini taşıyan bir kaydı kullanıcının kendi sözü saymak, saldırı başarısını 3.1'den 15.3'e çıkardı ve ürüne konmak yerine olumsuz sonuç olarak yayımlandı. Bir de bütün bunlar tek kişi tarafından, o kişinin seçtiği kıyaslama kümelerinde ölçüldü. Yöntem depoda duruyor, başkası farklı seçebilsin diye.
- Makale: doi.org/10.5281/zenodo.23178080
- Kod, ölçüm düzeneği ve çift başına veri: github.com/cgrtml/reasongate
- Kurulum:
pip install reasongate, sonrareasongate-mcp -- <MCP sunucu komutunuz>