Çapraz Doğrulama (Cross-Validation)

Çapraz Doğrulama, istatistikte modellerin genellenebilirliğini sınamak için kullanılan klasik bir fikrin (Stone, 1974; Geisser, 1975) karar tablosuna uyarlanmış hâlidir. Elinizde zaten bir temel sıralama vardır; DecisionMind'da bu taban klasik TOPSIS'tir. Yöntem, bir "seçeneği katlardan birinde saklayıp diğerleriyle sıralamayı yeniden kurma" mantığıyla çalışır: her seferinde bir ya da birkaç seçenek tablodan çıkarılır, kalanlarla sıralama yeniden hesaplanır ve bu küçültülmüş sıralamanın kalan seçenekler arasındaki sırayı ne kadar koruduğuna bakılır. Çıktı, her seçenek için bir kararlılık puanıdır.

Önemli not: Bu yöntem, taban yöntem ve katlama (fold) sözleşimi netleşene kadar DecisionMind hesaplayıcısında şu an devre dışıdır; motor "kanonik uygulama henüz tamamlanmadı" uyarısıyla çalışmayı reddeder (fail-closed). Bu kart yöntemi tanıtmak ve gelecekteki kullanım için hazırlamak amacıyla yazılmıştır; aşağıdaki vaka sayıları DecisionMind'ın canlı bir koşumundan değil, yöntemin manifestte tanımlanan adımlarının bağımsız olarak yeniden çalıştırılmasından elde edilmiştir.

Fikir istatistikteki çapraz doğrulamayla aynıdır: bir modelin (burada bir sıralamanın) yalnızca elindeki veriye özgü bir tesadüf mü olduğunu, yoksa veri biraz değişse de ayakta kalan bir yapı mı olduğunu anlamak için, veriden bir parça saklanır, geri kalanla model yeniden kurulur ve saklanan parçanın tahmini gerçekle karşılaştırılır. Karar tablosuna uygulandığında bu, "bir seçeneği listeden çıkarsak, kalanların sırası aynı kalır mı" sorusuna dönüşür.

Bu bakışın bir sonucu vardır: Çapraz Doğrulama, tek bir sıralamayı doğru ya da yanlış ilan etmez. Sıralamanın veri kümesindeki küçük değişikliklere karşı ne kadar dayanıklı olduğunu gösterir. Bir seçenek çıkarıldığında kalanların sırası bozulmuyorsa, sıralama geniş bir yapıya dayanıyor demektir; bozuluyorsa, sıralama o seçeneğin varlığına duyarlıdır.

Yöntem dört adımda ilerler.

Birinci adım, temel sıralama ve katlama sayısı. DecisionMind karar tablosunu klasik TOPSIS'e verir ve tam seçenek kümesiyle bir temel sıralama kurar. Katlama sayısı k seçilir; k, seçenek sayısına eşitse (k=m) her katlamada yalnız bir seçenek saklanır, buna "birini dışarıda bırakma" (leave-one-out) denir. Daha büyük veri kümelerinde k=5 ya da k=10 gibi daha kaba bir bölme de kullanılabilir.

İkinci adım, katlamaların oluşturulması. m seçenek k kata bölünür; her kat, birbirine yakın büyüklükte bir seçenek grubudur.

Üçüncü adım, her katın sınanması. Her kat için o katın seçenekleri tablodan çıkarılır, kalan seçeneklerle sıralama yeniden hesaplanır. Kalan seçeneklerin bu küçültülmüş sıralamadaki göreli sırası, tam tablodaki göreli sırasıyla Spearman korelasyonu üzerinden karşılaştırılır.

Dördüncü adım, toplulaştırma. Her seçeneğe, kendisi saklandığında hesaplanan korelasyon değeri kararlılık puanı olarak atanır. Bütün seçeneklerin ortalaması, sıralamanın genel çapraz-doğrulama kararlılığını verir.

Adımların formülleri, ara tabloları ve atıf biçimleri DecisionMind'daki yöntem sayfasında verilir; bu kart formül taşımaz.

Bir seçeneğin kararlılık puanı, o seçenek olmadığında geri kalanların sırasının ne kadar korunduğunu söyler; seçeneğin kendi sırasının ne kadar "doğru" olduğunu söylemez. Puan 1'e yakınsa, o seçenek yokken kalanların sırası tam tabloyla aynıdır; -1'e yakınsa, o seçenek yokken kalanların sırası tersine dönmüştür. Az sayıda seçenekle çalışıldığında (üç dört seçenek) her katlamada yalnız bir iki seçenek kalır, bu da korelasyonun yalnız birkaç ayrık değer (1, 0, -1) alabilmesine yol açar; bu durumda kararlılık puanı ince bir ölçüm değil, kaba bir evet-hayır sinyalidir.

Bu nedenle:

"Bu sıralama çapraz doğrulamayı geçti"

yerine:

"Sıralama, şu seçeneklerin tek tek çıkarılmasına karşı korunmuştur; şu seçeneğin çıkarılması kalanların sırasını değiştirmektedir"

biçiminde yazmak doğrudur.

Kesin veri. DecisionMind'da bu yöntemin tabanında klasik TOPSIS bulunur ve şu an uzantısı yoktur. Elinizde tam bir karar tablosu ve ağırlıklar olmalıdır; en az iki seçenek gerekir, ama katlama mantığının anlamlı olması için en az üç seçenek önerilir. Kat sayısı k varsayılan olarak seçenek sayısına eşittir (birini dışarıda bırakma); daha büyük veri kümelerinde k düşürülebilir. Yöntem ağırlık üretmez, dışarıdan alır.

Elinizde bir temel sıralama varsa ve bu sıralamanın belirli bir seçeneğin (özellikle uç bir değere sahip, sıra dışı bir seçeneğin) varlığına ne kadar bağımlı olduğunu görmek istiyorsanız Çapraz Doğrulama uygun bir teşhis aracıdır. Yeni bir seçenek eklenmeden önce mevcut sıralamanın ne kadar hassas olduğunu anlamak isteyen kararlarda faydalıdır.

Kullanılmaması gereken durumlar şunlardır. Seçenek sayısı çok küçükse (iki üç seçenek) korelasyon yalnız birkaç ayrık değer aldığından sonuç kaba kalır. Seçenekler arasında güçlü bir bağımlılık varsa (biri diğerinin fiyatını belirliyorsa gibi) bir seçeneği çıkarmak diğerlerinin değerlerini de dolaylı olarak etkiler ve bu yöntem bunu hesaba katmaz. Ayrıca, hâlihazırda DecisionMind'da bu yöntem taban yöntem sözleşmesi netleşene kadar hesaplanamadığından, canlı bir rapor için şimdilik kullanılamaz.

Temel sıralama hazır, "hangi seçeneğe bağımlı" sorusu var → Çapraz Doğrulama

Soru kriterlere yönelik, seçeneklere değil → Kriter Çıkarma

Soru ağırlıklara yönelik → Ağırlık duyarlılık analizi

Seçenek sayısı çok az (iki üç) → Sonuç kaba kalır; doğrudan duyarlılık tartışması tercih edilebilir

Çapraz Doğrulama'nın temel üstünlüğü, istatistikte on yıllardır sınanmış bir fikri (Stone, 1974; Geisser, 1975) karar analizine taşımasıdır. Yöntem, "bu sıralama yalnızca bu seçenek kümesine mi özgü" sorusuna doğrudan cevap verir ve her katlama aynı temel yöntemin tekrar koşulmasından ibaret olduğu için hesap yükü küçüktür. Sonuç, tek bir kararlılık sayısına indiği için raporda kolayca gösterilebilir.

Sınırlılıkları küçük veri kümelerinde belirginleşir. Birincisi, az sayıda seçenekle her katlamada yalnız bir iki seçenek kaldığından korelasyon yalnız birkaç ayrık değer alabilir; bu, ince bir robustluk ölçümü değil kaba bir sinyaldir. İkincisi, taban yönteme (burada TOPSIS) bağımlıdır; TOPSIS'in kendi sınırlılıkları buraya da taşınır. Üçüncüsü, seçenekler arasında bağımlılık varsa (bir seçeneğin varlığı diğerinin değerlendirmesini etkiliyorsa) yöntem bunu görmez, çünkü her katlamada geri kalan seçenekler değişmeden yeniden değerlendirilir. Azzini ve Munda (2025), sosyal çok kriterli değerlendirmede bu tür duyarlılık ve sağlamlık analizlerinin tek başına yeterli olmadığını, karar bağlamının kendisinin de sorgulanması gerektiğini vurgular.

En yaygın hata, kararlılık puanını "bu seçenek ne kadar iyi" diye okumaktır; puan seçeneğin kalitesini değil, onun varlığının diğerlerinin sırasını ne kadar etkilediğini gösterir. İkinci hata, çok küçük seçenek kümelerinde (iki üç seçenek) elde edilen kaba ±1 değerlerini ince bir duyarlılık ölçümü gibi sunmaktır. Üçüncü hata, taban yöntem değiştiğinde (TOPSIS yerine başka bir sıralama yöntemi kullanıldığında) aynı kararlılık profilinin geçerli kalacağını varsaymaktır. Dördüncü hata, bu yöntemi mevcut haliyle canlı bir DecisionMind raporunda çalıştırılabilir bir adım gibi sunmaktır; yöntem şu an yalnız tanıtım ve ileride kullanım amacıyla belgelenmiştir.

Temel ilke şudur:

Çapraz Doğrulama bir sıralamanın belirli bir seçeneğin varlığına ne kadar bağımlı olduğunu gösterir; seçenek sayısı arttıkça bu gösterge güçlenir, azaldıkça kabalaşır.