8 Eylül 2026

Depo Robotu Durdu, Arkasındaki İşçi Ona Çarptı. Peki Neden Durduğunu Kim Bulabilir?

Sahneyle başlayalım, çünkü geri kalan her şey ondan çıkıyor. Bir mobil robot koridorda ilerliyor. Uyarı vermeden duruyor. Arkasından yürüyen işçi duramıyor ve çarpışma oluyor. Ciddi bir yaralanma yok ama birinin ne olduğunu anlatan bir rapor yazması gerekiyor.

İnceleyen kişinin elinde kayıtlar var. Robot sensör akışlarını ve motor komutlarını kaydetmiş; 14:22:07'de komut "dur". Bu ikisinin arasında, kamera ve LiDAR okumalarını birkaç milyon parametreden geçirip o komutu üreten bir sinir ağı duruyor. Kayıt robotun ne yaptığını söylüyor. Neye inandığını, onun yerine ne yapabileceğini ya da hangi okumanın fikrini değiştirdiğini söylemiyor.

Bu boşluk, SoutheastCon 2026'da yayımladığım makalenin konusu. Bu yazı da onun denklemsiz hâli.

Bu Neden Sadece Akademik Bir Şikâyet Değil

Uluslararası Robotik Federasyonu'na göre hizmet robotu satışları 2023'te yüzde 30 büyüdü, ve bu makineler artık kafeslerin içinde değil. Depo çalışanlarıyla aynı koridoru, yayalarla aynı yolu, cerrahlarla aynı ameliyathaneyi paylaşıyorlar.

Denetlenebilirlik boşluğu, saha gerçek olur olmaz üç somut probleme dönüşüyor.

Olay incelemesi tahmine dayanır hâle geliyor. Yeniden kurulabilir bir kayıt olmadan rapor bir bulgu değil, makul bir hikâye oluyor; peşinden gelen düzeltme de bir tahmini hedefliyor.

Güvenlik belgelendirmesi zorlaşıyor. ISO 13482 gibi standartlar belgelenmiş risk değerlendirmesi istiyor, ve neden davrandığını söyleyemeyen bir sistem o belgeyi üretemiyor.

Mevzuat uyumu ise doğrudan başarısız oluyor. AB Yapay Zeka Yasası, yüksek riskli yapay zeka sistemlerinin sistemin işleyişinin izlenmesine olanak veren kayıtlar tutmasını gerektiriyor. Bugün sahadaki robotik sistemlerin çoğu bu cümleyi karşılayamıyor, ve bu geriye dönük karşılanabilecek bir cümle değil.

Modeli Açıklamak Neden Çözmüyor

Akla gelen ilk cevap açıklanabilir yapay zekaya uzanmak, ve bu cevap yanlış nesneyi hedefliyor.

LIME, karmaşık bir modeli tek bir tahminin yakınında basit bir modelle yaklaşıklıyor. SHAP, oyun kuramına dayanarak tahmini girdi özniteliklerine dağıtıyor. İkisi de faydalı ve ikisi de tek bir çıktıyı açıklıyor. Oysa bir robot saniyede yüzlerce, birbirine bağlı karar veriyor; her birini tek tek açıklamak onları birbirine bağlayan zinciri kaybediyor. İnceleme yapan kişinin istediği tek şey de o zincirdi.

Dikkat ağırlıkları bir çıkış yolu gibi görünüyor, çünkü model size neye baktığını söylüyormuş gibi duruyor. Jain ve Wallace, dikkat ağırlıklarının gerçek nedensel ilişkileri çoğu zaman yansıtmadığını gösterdi. Güvenlik açısından kritik bir sistemde, kendinden emin biçimde yanlış olan bir açıklama hiç açıklama olmamasından kötüdür; çünkü incelemeyi erken bitirir.

Çalışma zamanı doğrulaması daha yakın duruyor. ModelPlex gibi sistemler sibernetik-fiziksel bir sistemin doğrulanmış sınırların içinde kalıp kalmadığını denetliyor. Bu gerçekten değerli, ama bir ihlal bayrağı size bir şeyin sınır dışına çıktığını söyler; denetleyicinin oraya gitmeyi neden seçtiğini söylemez.

Bütün bunların merkezine koyacağım ayrım şu: sonradan açıklama yöntemleri bir model çıktısını açıklar, oysa inceleme bir karar dizisine ihtiyaç duyar. Bunlar farklı nesneler, ve hiçbir ayar birincisini ikincisine dönüştürmez.

Kaydı Sonradan Kurtarmak Yerine Baştan Üretmek

TRACE, Transparent Reasoning Architecture for Credible Execution'ın kısaltması. Fikir tek cümleyle söylenecek kadar kısa: kapalı bir sistemden sonradan açıklama çıkarmaya çalışmayı bırakın, karar hattı gerekçelerini çalışırken yazsın.

Bu bir sarmalayıcı, yerine geçen bir şey değil. Algı modülü evrişimli ağ olarak kalabilir, tahminci transformer olarak kalabilir. Mimarinin istediği tek şey, her aşamanın ürettiği ara ürünü belgelenmiş biçimde dört katman boyunca teslim etmesi. Bunun ne kazandırdığını görmenin en açık yolu, tek bir kararı dört katmanın tamamında takip etmek.

Çarpışmadan önceki ana dönelim. Robot saniyede 1.2 metre hızla ilerliyor ve koridorun kenarında bir şey beliriyor.

Birinci katman neyin görüldüğünü ve neye dayanarak görüldüğünü yazıyor. Alışıldık bir hat şunu üretir: insan, 3.2 metre ileride, güven 0.87. İnceleme yapan kişinin eline geçen tek şey bu satır, ve doğrulanabilir değil. Bu katman aynı tespiti kanıtıyla birlikte üretiyor: mesafeyi veren LiDAR dönüşü, sınıflandırmayı üreten kamera bölgesi, ve her birinin katkı payı. Sonradan soru "robot bir işçiyi mi gördü yoksa palet streçinden yansıyan ışığı mı" hâline geldiğinde, cevabın tamamı bu farkta.

İkinci katman robotun bundan ne sonuç çıkardığını yazıyor. Tespit inanç değildir. Koridor ağzında duran bir insandan yola çıkarak robot doğrudan gözleyemediği bir şeyi çıkarsıyor: bu kişi şeride adım atmak üzere. Bu katman çıkarımları bir grafikte tutuyor ve her türetilmiş durum, onu üreten gözlemlere bağlı duruyor. Yani inanç, kayıtta öylece duran bir iddia olmuyor. Ebeveyni olan bir sav oluyor, ve inceleyen kişi "robot birinin çıkacağını bekliyordu" cümlesinden onu düşündüren iki kareye kadar yürüyebiliyor.

Üçüncü katman başka ne yapabileceğini yazıyor. En çok savunacağım katman bu, ve kimsenin kurmadığı katman da bu. Planlayıcı üç seçenek değerlendirdi: hızını koru, saniyede 0.4 metreye düş, dur. Durmayı seçti. Sıradan bir kayıt seçimi tutar, diğer ikisini atar. Bu katman üçünü birden tutuyor; durmanın neden kazandığını ve hangi koşulda kazanmayacağını da: öngörülen niyet eşiğin altında kalsaydı robot durmak yerine yavaşlayacaktı. Bir kaydı incelemeye dönüştüren şey işte bu son madde, çünkü raporun cevaplamak zorunda olduğu soruyu cevaplıyor. O soru "ne yaptı" değil, "başka bir şey yapmasını ne sağlardı".

Dördüncü katman robotun karar verdiği şeyi yapıp yapmadığını yazıyor. Son katman niyetle sonucu karşılaştırıyor, çevrimin tamamını tek bir kayda damgalıyor ve ikisi uyuşmadığında aradaki farkı işaretliyor. Modellenenden 400 ms geç gerçekleşen bir durma komutu, hiç verilmemesi gereken bir durma komutundan bambaşka bir olaydır; ikisini birbirinden ayırabilen tek yer de burası.

Dördü bir araya gelince ortaya biçimi olan bir kayıt çıkıyor. İnceleyen kişi ham sensör akışlarını ipucu arayarak taramıyor. 14:22:07'deki çevrimi açıyor ve robotun ne gördüğünü, ne sonuç çıkardığını, neyi tarttığını, neden seçtiğini ve gerçekte ne olduğunu okuyor.

Dışarıdan Bir Mühendisin Hesaplayabileceği Üç Sayı

Kendi kendine not veren bir çerçevenin değeri azdır, o yüzden üç ölçüt de kayıt üzerinde aritmetik olarak tanımlı. Beni hiç tanımayan biri üçünü de kendi sisteminde hesaplayabilir. Her biri sade bir soruyu cevaplıyor.

Her etken bir okumaya kadar takip edilebiliyor mu? Kanıt izlenebilirliği, bir kararın arkasındaki etkenlerden kaçının belgelenmiş bir zincirle belirli bir sensör gözlemine ulaştığını veriyor. Bir de kulağa geldiğinden önemli olan kısmi sürümü var: zincir koptuğunda belgelemenin ne kadar aşağı indiğini bildiriyor. 3 üzerinden 2 derinlik, inceleyene doğrudan ve ikincil nedenlerin kayıtlı olduğunu, asıl gözlemin eksik olduğunu söylüyor. Bu kullanılabilir bir bulgudur. Kuru bir "izlenemedi" değildir.

Kayıtta delik var mı? Zamansal süreklilik, inceleme penceresinde hiç karar kaydı bulunmayan aralıkların oranının bir eksiği. Sistem yük altına girdiğinde ilk beliren şey deliklerdir, ve yanlış saniyedeki bir delik izin geri kalanını değersiz kılar.

Bağımsız bir mühendis kararı yeniden kurabilir mi? Karar yeniden kurulabilirliği sert olanı. Bir çevrim ancak üçü birden sağlandığında sayılıyor: eylem geri getirilebiliyor, alternatifler geri getirilebiliyor, ve seçilen eylemin neden tercih edildiği geri getirilebiliyor. Üçte iki sıfır alıyor, çünkü üçte iki kimsenin olanı yeniden kurmasına yetmiyor.

Ne Ölçüldü

Değerlendirme 50 metreye 30 metrelik bir depo benzetimi; kararlar 10 Hz'de, beş senaryo, her biri 100 çevrim, boş koridordan çarpışma rotasındaki forklifte kadar. Benzetim temiz koşmuyor, ve asıl mesele de bu: sensör kopmaları, bozulan kanıt bağları, kırpılan gerekçeler ve zaman aşımları enjekte ediliyor. Çünkü yalnızca hiçbir şey ters gitmediğinde ayakta kalan bir kayıt, denetim izi değildir.

Mimarinin benimsenip benimsenmeyeceğine karar veren sayı ek yük, ve ben onu başa koyardım. 10 Hz'de bir karar çevriminin bütçesi 100 ms; denetim izi bunun yaklaşık yüzde 1'ine mal oluyor. Bu fiyata kimsenin denetlenebilirlikle başarımı tartmasına gerek kalmıyor.

Makaledeki karşılaştırma tablosuyla ilgili bir not. Sonradan açıklama yöntemleri oraya, benim koştuğum deneylere göre değil, her mimarinin ilkesel olarak neyi yapabildiğine göre yerleştirildi. Makale bunu söylüyor, ben de burada tekrar ediyorum; çünkü kurduğum iddia mimari bir iddia: bir öznitelik atfı yöntemi ile bir denetim izi farklı soruları cevaplamak üzere kurulmuştur, ve bu ikisinin nasıl ayarlandığından bağımsız olarak geçerlidir.

Bir Filonun Bunu Çalıştırıp Çalıştıramayacağına Karar Veren Kısım

Bu alandaki çalışmalar genelde ölçütlerde duruyor. Sahaya çıkışı asıl belirleyen şey ise bütün bunların nereye gideceği.

Tam bir denetim izi karar çevrimi başına 2 ila 5 KB tutuyor. 10 Hz'de bu saatte 70-175 MB, robot başına günde 1.7-4.2 GB demek. Yüz bin robotluk bir filo alın ve AB Yapay Zeka Yasası'nın 19. maddesinin istediği altı aylık saklamayı ekleyin: ham ihtiyaç 30 petabaytı geçiyor.

Böyle bir sayı, depolama katmanlanmadıkça konuşmayı bitirir; o yüzden tasarım katmanlıyor. Son 24 saat tam ayrıntısıyla duruyor, ki olayların fiilen incelendiği pencere de o. Ötesinde işaretlenmiş kararlar eksiksiz kalıyor, rutin olanlar özete iniyor. Daha eskisi düzenleyici için sıkıştırılıp arşivleniyor.

Sıkıştırma burada alışılmadık biçimde iyi çalışıyor, çünkü nedensel grafikler kendini tekrar ediyor. Aynı yapılar çevrim çevrim yineleniyor; sözlük kodlamasının 3-5 kat azaltma, yalnızca ardışık çevrimler arasındaki değişimi kodlamanın da inanç durumunun neredeyse hiç oynamadığı rutin işleyişte yüzde 60-80 ek azaltma vermesi bekleniyor. Bu iki rakam ön analizden gelen projeksiyon. Ölçülmeleri listede.

Sınırlar ve Sonraki Adım

Değerlendirme benzetimde koştu; modellenmiş sensör gürültüsü ve modellenmiş arızalarla. Mimarinin arıza koşulları altında izini koruduğunu ortaya koymak için doğru aşama budur, ve sahaya dair bir iddia için yeterli değildir. Gerçek sensörlerle fiziksel donanımda doğrulama sıradaki adım, ve makale bunu okura bırakmak yerine açıkça yazıyor.

İki başlık daha açık. Depolama projeksiyonlarının tahmin değil ölçüm olması gerekiyor. Bir de mimari, işi görebilecek en ucuz şeyle karşılaştırılmalı: her şeyi kaydedip sonradan yeniden kurmakla. Çünkü apaçık alternatifi aynı ölçütlerde yenemeyen bir tasarım, karmaşıklığını hak etmemiştir. Bu ölçütü kendi işime de uyguluyorum: bu yılın başında bir tekerlek kayması dedektörünü yalnızca daha yavaş süren bir kontrol koluna karşı ölçtüm, ve kontrol kolu kazandı.

Bugün savunacağım şey herhangi bir yüzdeden dar, ve sanıyorum daha kalıcı: denetim izi bir raporlama özelliği değil, bir tasarım gereğidir. Robot karar verirken yakalanmayan kanıt, sonradan hiçbir araçla, ne kadar iyi olursa olsun geri getirilemez; ve ona ihtiyaç duyan inceleme bir bulgu değil bir hikâye üretir. Dolayısıyla mühendislik sorusu, sona hangi açıklama yöntemini ekleyeceğimiz değil. Sistemin çalışırken neyi yazmakla yükümlü olduğu.

Makale: arXiv:2609.02861 (tam metin, ücretsiz), SoutheastCon 2026, IEEE, s. 1-6'da yayımlandı. Kayma dedektörü hikâyesi ölçümü anlattığım yazıda.

← Tüm yazılara dön