Bir Sınıflandırıcıyı Büyütmenin Dört Yolu ve En Güvenli Görüneninin Neden Hiç Öğrenemediği
arXiv bir makalemi yayımladı: Four Ways to Grow a Classifier and Why One of Them Cannot Learn, arXiv:2610.00180. Aşağıda makaleyi sırasıyla ve sayılarıyla anlatıyorum. Nasıl ortaya çıktığını da anlatacağım, çünkü o kısım makalenin biçimini açıklıyor.
Bu bir çalışma olarak tasarlanmadı. Gradyan inişiyle eğitilen ağaç modelleri için scikit-learn uyumlu bir kütüphane olan neural-trees'i yazarken, eğitilirken büyüyen modellerle ilgili dört uygulama sorusunu karara bağlamam gerekti. Her biri için makul görünen seçeneği yazdım, uyguladım ve iyileştirmesi beklenen şeyle tek bir sabit protokol altında karşılaştırdım. Dördünün üçü bir niceliği başka bir nicelikle takas etti. Dördüncüsü hiç öğrenemedi; üstelik bunun sebebi bir tablodan okunmakla kalmıyor, ispatlanabiliyordu.
Bu modellerin ne olduğunu küçük bir örnek anlatır. Tek kuralı olan bir kredi memuru düşünün: "Vade 24 aydan uzunsa reddet." Bu memur, derinliği bir olan bir karar ağacıdır. Aynı memurun yumuşak sürümü 25 aylık bir krediyi doğrudan reddetmez. Başvuranın büyük kısmını ret dalına, küçük bir kısmını kabul dalına gönderir; bu pay, vadenin 24 ayı ne kadar aştığına bağlıdır. Pay, sayının pürüzsüz bir fonksiyonu olduğu için kural tıpkı bir sinir ağı gibi gradyan inişiyle eğitilebilir. Büyüme ise şudur: Tek kuralla ilerleyemez hâle gelen memur, cevaplardan birinin altına ikinci bir soru ekler: "Reddedildiyse başvuranın birikimi var mı?" Makaledeki dört karar, o ikinci soruyu eklemenin dört yoludur.
Aşağıdaki sayılar makalenin sayılarıdır. Depoda paper/arxiv/olcum altındaki ölçüm betikleri sonuçlarını JSON dosyalarına yazar; doldur.py de makale şablonundaki yer tutucuları bu dosyalardan doldurur. Böylece makaledeki tablolar, onları üreten koddan kopamaz. Protokol baştan sona aynıdır: Özellikler yalnızca eğitim katının istatistikleriyle standartlaştırılır; üç tohumla tekrarlanan tabakalı beş katlı çapraz doğrulama uygulanır, yani kol başına on beş eğitim yapılır ve her kol aynı katları, aynı tohumları kullanır. Standart sapmalar bu on beş eğitimin yayılımını gösterir, güven aralığı değildir. Evet ya da hayır gereken yerde makale birleşik 5x2cv F testini kullanır.
Adım 1. Burada "Büyümek" Ne Demek?
Kredi memurunu hatırlayın. Sıradan bir karar ağacı o memur gibi çalışır: Her düğümde tek bir soru vardır, cevap evet ya da hayırdır ve her başvuran tek bir yola gider. Yumuşak karar ağacında soru aynıdır ama cevap bir orandır. "Vade 24 aydan uzun mu?" sorusundan 25 aylık bir başvuran yüzde seksen evet, yüzde yirmi hayır olarak geçer; 60 aylık bir başvuran ise neredeyse tamamen evet tarafına gider. Bu oran, vadenin eşikten ne kadar uzak olduğuna bağlı pürüzsüz bir eğridir; teknik adı sigmoiddir. Ağacın en altındaki her yaprakta bir karar durur, mesela "yüzde yetmiş iyi, yüzde otuz kötü". Bir başvuranın sonucu, ulaştığı bütün yaprakların, oraya ne kadar ulaştığıyla ağırlıklandırılmış karışımıdır.
Bunun sonucu şudur: Her soru ve her yaprak pürüzsüz birer sayıdan oluştuğu için ağacın tamamı bir sinir ağı gibi gradyan inişiyle eğitilebilir. Eğitilebilen bir ağacı eğitim sırasında büyütmek de mümkün hâle gelir. Yeni bir soru eklersiniz, eğitim devam eder, yeni soru da öğrenir. Makalede "büyümek" tam olarak budur: Eğitim sürerken modele yapı eklemek.
Ekleme dört şekilde yapılabilir. Makale dördünü de ölçüyor:
- Bir seviyeyi tek seferde eklemek. Ağacın bütün yapraklarının altına aynı anda birer soru koymak; hem de ağacın verdiği cevaplar o an hiç değişmeyecek şekilde. Hikâyenin kahramanı budur.
- Yeni bir nöronu hazırlayıp eklemek. Bu karar ağaçla değil, büyüyen bir sinir ağıyla ilgilidir. Ağ tıkanınca yeni bir gizli birim eklenir. Soru şudur: O birim rastgele mi kurulmalı, yoksa önce ağın yaptığı hatalara oturtulup sonra mı eklenmeli?
- Tek bir yaprağı bölmek. Bir seviye yerine her seferinde yalnızca bir yaprağın, en çok hatanın biriktiği yaprağın altına soru koymak. Daha küçük ağaçlar vadeder.
- Sorunun türünü seçmek. Bir düğümdeki soru tek bir özelliğe bakabilir ("Vade 24'ten uzun mu?"), birkaç özelliğin ağırlıklı toplamına bakabilir ya da doğrusal olmayan bir sınır çizebilir. Daha güçlü soruyu yalnızca ölçülebilir bir iyileşme getiriyorsa seçmek kulağa tutumlu geliyor.
Dördü de makul. Üçü bir şey verip bir şey alıyor; biri hiçbir şey öğrenmiyor.
Adım 2. Herkesin İlk Yazdığı İşlem
Eğitilmiş bir yumuşak ağacı, öğrendiği hiçbir şeyi kaybetmeden derinleştirmenin apaçık bir yolu var. Her yaprağı alın, ağırlıkları tamamen sıfır olan bir kapıya çevirin ki kütlenin tam yarısını her yöne göndersin; iki yeni çocuğa da ebeveynin dağılımını verin. Q'nun yarısı artı Q'nun yarısı yine Q eder. Derin ağaç, sığ olanın hesapladığı fonksiyonun tıpatıp aynısını hesaplar; eğitim oradan devam eder, ek kapasite de hazır bekler. Bu, Net2Net'in ağaç sürümüdür. Net2Net, eğitilmiş bir sinir ağını çıktılarını değiştirmeden genişletip derinleştirmenin 2016 tarihli reçetesidir; amaç, eğitimin sıfırdan başlamak yerine kaldığı yerden sürmesidir. Ağ morfizmleri de bunun genellemesidir. Benim ilk yazdığım kurulum da buydu.
Yeni seviye hiçbir şey öğrenmedi. Yavaş değil; hiç. Sebebi birkaç satırlık türev. Alt ağacın çıktıya katkısı, eski yaprağa ulaşan kütle çarpı iki çocuğun karışımıdır: g çarpı sağ çocuk artı (1 eksi g) çarpı sol çocuk. Kapı değeri g'ye göre türev alırsanız, ulaşan kütle çarpı iki çocuğun farkını bulursunuz. Çocuklar özdeşken bu fark sıfır vektörüdür. Kapının ağırlıkları ve sapması kayba yalnızca g üzerinden ulaştığı için zincir kuralı gereği gradyanları tam olarak sıfırdır; g ne olursa olsun, kayıp ne olursa olsun. Önermenin ilk yarısı budur. İkinci yarısı şu: Kapı yarımda dururken iki çocuk özdeş gradyan alır, yani özdeş kalır. İki yarıyı birleştirip eğitim adımları üzerinde tümevarım yapın. Her adımda kapı güncelleme almaz, çocuklar aynı güncellemeyi alır; gradyanı sıfır yapan koşul her adımda yeniden kurulur ve bu sonsuza kadar sürer.
Neyin kurtarmadığı konusunda açık olmak istiyorum. Momentum, Adam, ağırlık sönümü: Her biri sıfır olan bir gradyanı ölçekler ya da biriktirir; ağırlık sönümü iki eşit çocuğu eşit miktarda küçültür. Mini yığınlar da yardım etmez, çünkü iki çocuk da aynı yığını görür. Kayan nokta gürültüsünün bu bağı çözmediğini de varsaymadım, kontrol ettim: Iris üzerinde eğitilip sonra derinleştirilen derinliği iki olan bir ağaçta her yeni kapının mutlak gradyanlarının toplamı tek duyarlıkta tam olarak 0'dır, küçük değil; kardeş yaprakların gradyanları da bit bit aynıdır. Bu kontrol kütüphanenin sürekli entegrasyonunda çalışıyor.
Makalenin asıl noktası, sinir ağı literatürüyle olan karşıtlıktır. Net2Net bir birimi kopyalar, kopyaların simetrik olduğunu not eder ve gürültü ekler. Splitting steepest descent, kopyalanmış bir nöronun bir eyer noktasında oturduğunu gösterip oradan çıkan ikinci dereceden yönü türetir. GradMax yeni ağırlıkları sıfırlar ama birime bir sapma verir ki giden ağırlıkların izleyecek bir şeyi olsun. Üçünde de birinci dereceden bilgi zayıftır ama geri kazanılabilir. Ağaç kapısında ise yoktur: Türev sıfırdır ve kendini yeniden üretir.
Adım 3. Bedeli Ne, Bedel Nereden Geliyor?
Düzeltme, iki çocuğu kurulum anında zıt yönlere küçük ve rastgele bir miktar oynatmaktır. Fonksiyon bu durumda yalnızca yaklaşık olarak korunur; asıl mesele de zaten bu çıkıyor.
Tam koruma, aynı derinlikte sıfırdan eğitilen ağaca kıyasla Iris'te 19,6, Wine'da 19,1, Digits'te 55,6 doğruluk puanına mal oluyor. 0,05 ile 0,5 oynatma arasında, yani on katlık bir aralıkta, ortalamalar en fazla 0,4 puan değişiyor. Sıfırı 0,2 ile karşılaştıran F testi Iris'te p = 0,048, Wine'da 0,010, Digits'te 0,0001'in altını veriyor. Iris değeri alışılmış sınırın tam üstünde; makalede ona yaslanmıyorum, çünkü test tutucudur ve ölçekleyiciyi testin katlarının içine taşıdığımda değer 0,05'i geçti.
Bu üç veri kümesi hatanın gerçek olduğunu söylüyor; ne zaman pahalı olduğunu söylemiyor. Onu önerme söylüyor. Bu yolla derinleştirilen bir ağaç, başladığı ağacın fonksiyonunu hesaplar; başladığı ağacın da iki yaprağı vardır. İki yaprak iki dağılım tutabilir. İki sınıflı bir problemde ağacın ihtiyacı tam olarak budur, dolayısıyla ölü seviyeler hiçbir şeye mal olmamalıdır. K sınıflı bir problemde ise ağaç, ihtiyacı olan K yaprağa asla ulaşamaz; bedel sınıf sayısıyla büyümeli, özellik sayısıyla değil. Bugün arXiv'deki sürüm üç veri kümesini raporluyor. Bu hafta gönderdiğim yeni sürüm bu tahmini OpenML'den yirmi veri kümesinde daha sınıyor ve tahmin tutuyor: 13 iki sınıflı kümede ortalama bedel eksi 0,2 puan, yani yok; 7 çok sınıflı kümede 40,2 puan, 20 ile 58 arasında, F testi de hepsinde eşitliği reddediyor. Bedelin sınıf sayısıyla Spearman korelasyonu 0,64, özellik sayısıyla 0,03. İlk taslakta hatanın "yaklaşık yirmi puana" mal olduğunu yazmıştım. Doğru ifade şu: Bedel, başlangıç ağacının kapasitesiyle problemin ihtiyacı arasındaki boşluk kadardır; bu da ya sıfırdır ya felaket, arası nadiren vardır.
Adım 4. Simetrinin Nasıl Kırıldığı Önemli mi?
Rastgele gürültü bağı keyfî bir yönde çözer. Daha iyi bir yön varmış gibi görünüyor: Kaybın yaprağın dağılımına göre artığı, yaprağın hangi sınıfları eksik tahmin ettiğini söyler; dolayısıyla iki çocuk bu yön boyunca ebeveynin iki yanına yerleştirilebilir, yeni kapı da bir yöne çeken örneklere doğrultulabilir. Bu, GradMax'in fikrinin ağaç kapısına uygulanmış hâlidir. Uyguladım ve yardım etmesini bekledim. 24 veri kümesinde düz gürültüye kıyasla doğruluğu ortalama +0,20 puan değiştiriyor; medyan sıfır, 24 F testinden ikisi 0,05'in altında, bu da şansın ürettiği kadar. Ölçülebilen tek etki kararlılıkta: Çok sınıflı kümelerde katlar arası standart sapma 0,025'ten 0,021'e düşüyor. Gradyan sıfır olmaktan çıktıktan sonra gradyan inişi bölünmeyi kendi buluyor. Önermenin bir başlangıçtan istediği tek şey, gradyanın sıfır olmaması.
Adım 5. Yeni Gizli Birim Nereye Konur?
İkinci karar başka bir modeli ilgilendiriyor: Alpaydın'ın büyü ve öğren (GAL) ağı, eğitim hatası iyileşmeyi bırakınca bir gizli birim ekler. Özgün yöntem birimi rastgele ağırlıklarla kurar. Rastgele bir birim geldiği anda her çıktıyı bozar; az önce tıkandığına hükmedilmiş bir ağa zarar verir. Alternatif, cascade-correlation yöntemini izler: Ağı dondurun, artığını hesaplayın, adayın gelen ağırlıklarını bu artıkla korelasyon kuracak şekilde eğitin ve birimi sıfır giden ağırlıkla kurun. Fonksiyon kurulum anında değişmez. Bu kez bu güvenlidir, çünkü gelen ağırlıklar sinyal taşımaya başlar başlamaz giden ağırlıkların gradyanı sıfır olmaktan çıkar.
Bunun satın aldığı şey daha küçük bir ağdır, hem de her veri kümesinde: Iris 17,2 gizli birimden 6,9'a, Wine 6,3'ten 4,3'e, Digits 7,5'ten 5,7'ye iniyor. Mekanizma büyüme izinde görülüyor. Rastgele bir birim işe yaramadan gelir, hata düşmez, büyüme ölçütü yeniden tetiklenir; ağ, büyüme işe yaramadığı için büyür. Birimi önce oturtmak bu döngüyü ortadan kaldırır. Satın almadığı şey ise doğruluktur. Iris'te yükseldi, Wine'da aynı kaldı; ikisi de anlamlı değil. Digits'te doğruluk 2,1 puan düştü ve F testi bunu anlamlı sayıyor, rastgele başlatma lehine. Muhtemel sebep aynı tabloda görünüyor: Artık sürümü 5,7 birimde duruyor, rastgele olan 7,5'e kadar gidiyor ve on sınıflı bir problemde o birimler iş yapıyor. Erken duran büyüme kolay problemde tutumluluk, zor problemde eksik öğrenmedir; ölçüt ikisini ayıramıyor. Daha önceki bir taslakta Iris'teki kazancı tek başına raporlamıştım. O tür bir iddia tam olarak birisi dördüncü veri kümesini çalıştırana kadar yaşar.
Bir ayrıntı bana bir güne mal oldu; başkasına mal olmasın diye makalede. Aday amaç fonksiyonu, dejenere bir yığında sıfır olabilen bir varyansın kareköküne bölüyor. Sıfırda karekökün türevi sonsuzdur ve bütün ağ tek adımda NaN olur. Varyansı kökten önce sınırlamak düzeltiyor; sonucu sonradan sınırlamak düzeltmiyor, çünkü o zamana kadar gradyan çoktan oluşmuş oluyor.
Adım 6. Hangi Yaprak Bölünür?
Koca bir seviye yerine ağaç her seferinde tek bir yaprak büyüyebilir: En çok beklenen hatayı taşıyan yaprağı böler. Bu kural açık ara en seyrek ağaçları üretiyor. Yirmi OpenML kümesinde tam bir derinliği altı ağaca karşı 11'inde kaybetti, 3'ünde berabere kaldı, 6'sında kazandı; ortalama 1,8 puan geride kaldı ve her çok sınıflı kümede kaybetti. Seyreklik gerçekti, 63 bölünmeden bir ile on sekiz arasına inmişti. Bedeli doğrulukla ödeniyormuş gibi görünüyordu.
Bedel bir kusurla ödeniyordu; hem de aynı kusurla. Bir yaprak bölününce kod düğümü bölünmüş olarak işaretliyor ve başka hiçbir şey yapmıyordu. Çocuklar kuruldukları eğitimsiz logitleri tutuyordu; yani bölünme, ebeveynin öğrenilmiş dağılımını tekdüze bir dağılımla değiştiriyor ve çocukları özdeş başlatıyordu. Koca bir seviye yerine tek bir düğümde aynı önerme. Seviye seviye büyüme yolu bundan kurtarılmıştı; yaprak yaprak yol kurtarılmamıştı. Çocuklar ebeveyni devralıp simetri kırılınca yaprak yaprak büyüme, sekiz çok sınıflı kümenin ortalamasında, tam ağacın 8,3 puan altından 2,3 puan altına çıktı; bunu da bölünmelerin %23'ünü kullanarak yaptı. Simetri kırmanın yönü yine ikinci dereceden bir meseleydi; sonucu değiştiren, ebeveyni devralmaktı.
Büyütülen bir ağacı sıfırdan eğitilenden ayıran iki şey daha var; ikisi de büyüme değil. Büyütülen ağaç, son adımın yerini hak edip etmediğine karar vermek için eğitim katının %10'unu ayırır ve epoch bütçesini büyüme turlarına böler. Ayrı ayrı ölçünce ayırma tek başına sabit bir ağaca 0,4 puana mal oluyor; her büyüme turuna tam bütçeyi vermek ise bölmeye göre 0,8 puan kazandırıyor. Büyümenin bedeli gibi görünen şeyin bir kısmı %10 daha az veriye sahip olmanın bedeliydi. Bu başka bir şeydir ve öyle söylenmelidir.
Adım 7. Bir Düğümde Bölünme Türünü Seçmek
Omnivariate ağaç her düğümün bölünme türünü (tek özellikli eşik, doğrusal ya da doğrusal olmayan bölünme) o düğümün verisinde çapraz doğrulanmış doğrulukla seçer. Bu kural en ufak bir iyileşme için bile doğrusal olmayanı basit olana tercih eder. İyileşmenin aynı F testiyle anlamlı olmasını istemek, değilse basit bölünmeyi tutmak kesinlikle daha iyi gibi geliyor. Değil. Breast Cancer'da ağaç büyüyor, 4,7 düğümden 7,0'a; doğruluk da düşüyor, 0,971'den 0,958'e. Digits'te aynı doğruluk için büyüyor. Daha basit bir bölünme, düğümünün verisini daha kötü ayırır; çocuklar daha zor problemler devralır ve sırayla onların da bölünmesi gerekir. Yerel olarak dayatılan tutumluluğun bedeli küresel olarak ödenir. Yapısal bir sorun da var: Testin anlamlı olması için düğümde asgari bir örnek sayısı gerekir ve düğümler derinlikle küçülür. Ölçüt, tam da özyinelemeli bir yöntemin işinin çoğunu yaptığı yerde en az kullanılabilir oluyor. Seçenek bu yüzden kapalı geliyor.
Dördünün Ortak Noktası
Dördü tek bir eksende diziliyor: Yeni yapı geldiği anda optimize edicinin üzerinde çalışacağı bir şey var mı? Artığa oturtulup sıfır giden ağırlıkla kurulan bir birimin gradyanı hemen sıfırdan farklıdır ve güvenilir biçimde daha küçük bir ağ verir. Ebeveyni devralan ve birbirinden farklı iki çocuğa bölünen bir yaprağın gradyanı hemen sıfırdan farklıdır ve artık bölünmelerin bir kesriyle tam ağacın birkaç puan yakınına gelir. Özdeş çocuklu bir kapı seviyesi ya da özdeş ve eğitimsiz çocuklara bölünmüş bir yaprak ise optimize ediciye hiçbir şey bırakmaz; bedel, tam olarak ağacın artık ulaşamadığı kapasitedir.
Bu eksen hangi işlemlerin çalışabileceğini söylüyor. Ne kadar yardım edeceklerini söylemiyor; 5. ve 6. adımlar bunun probleme bağlı olduğunu gösteriyor. Simetrinin nasıl kırıldığını da umursamıyor. Buradan çıkan pratik kural dar ve ucuz: Türevlenebilir bir modele eğitim sırasında parametre eklediğinizde, eklemeden sonraki ilk yığında bu parametrelerin gradyanını hesaplayın ve sıfır olmadığını assert edin. Bir testte tek satır. Bu kütüphanedeki iki kusuru da yakalardı.
Makalenin İddia Etmediği Şeyler
Veri kümeleri orta boy; alt örneklemeden sonra en fazla 5.000 satır ve 72 özellik var. Doğruluk hakkındaki sonuçlar bunun ötesine genellenecek şekilde okunmamalı. Her karşılaştırma tek bir uygulamanın kolları arasında ve ayarlar sabit. Bu, sınanan işlemi yalıtıyor ama kazanan kolun mevcut en iyi yöntem olduğunu göstermiyor. 6. adım da benim bir uygulama ayrıntımın bir etkinin tamamından sorumlu olabileceğini hatırlatıyor. Önerme kesindir ve uygulamadan bağımsızdır; makaledeki başka hiçbir şey öyle değildir. Splitting steepest descent tarzında ikinci dereceden bir bölme yönü, işlemi gürültüsüz onarmanın doğal yolu olurdu; denemedim.
Her Şey Nerede?
- Makale: arxiv.org/abs/2610.00180 (PDF)
- Kod, ölçüm betikleri ve sıfır gradyan regresyon testi: github.com/cgrtml/neural-trees
- Ölçülen sürümün arşivi: doi.org/10.5281/zenodo.22929121 (v0.7.0)
- Kurulum:
pip install neural-trees, pypi.org/project/neural-trees - Belgeler, tasarım kararları ve tablolarıyla: cagritemel.com/neural-trees
- Modelleri tarayıcıda deneyin: neural-trees.streamlit.app
- Kütüphanenin ne işe yaradığı, kredi skorlama vakasıyla: önceki yazı
Büyüyen modeller eğitiyorsanız tek satırlık kontrolü çalıştırın. Sizin kodunuzda düşerse duymak isterim; geçerse onu da.