Ağırlık Duyarlılık Analizi (Weight Sensitivity Analysis)

Herhangi bir ağırlıklı karar yöntemi (TOPSIS, SAW, VIKOR, ne olursa olsun) bir sıralama üretir. Ama o sıralama, kriterlere verilen ağırlıklardan doğar ve ağırlıklar çoğu zaman kesin ölçüm değil, uzman görüşü ya da tartışmayla belirlenmiş tahminlerdir. Ağırlık duyarlılık analizi bu sıralamayı sorgular: ağırlıklardan biri biraz değişse kazanan değişir mi, değişmez mi. Çıktısı yeni bir sıralama değildir; kazananın ne kadar kırılgan olduğunu gösteren birkaç sayıdır. Bir kriterin ağırlığını ne kadar oynatmanın kazananı devirdiğini (kritik ağırlık değişimi), rastgele ağırlık denemelerinin kaçında kazananın aynı kaldığını (kararlılık oranı) ve sıraların birbirine ne kadar benzediğini (ortalama Spearman korelasyonu) rapor eder. Triantaphyllou ve Sánchez, 1997'de bu tür bir duyarlılık sorgusunu ilk kez TOPSIS, SAW ve WPM için sistematik biçimde tanımlamıştır.

Bu yöntemin arkasındaki fikir basittir: bir karar sonucu, yalnız girdileri kadar güvenilirdir. Ağırlıklar tartışmalı ya da tahminiyse, o ağırlıklarla üretilen kazanan da tartışmalıdır. Ağırlık duyarlılık analizi "hangi seçenek en iyi" sorusuna cevap vermez; "bu cevap ne kadar dayanıklı" sorusuna cevap verir. Bunu yaparken iki farklı bakış kullanır. Birincisi, kriterleri tek tek sarsmaktır (bir kriter değişirken diğerleri sabit kalır gibi davranmak); bu, hangi tek kriterin sıralamayı en çok tehdit ettiğini gösterir. İkincisi, bütün ağırlıkları birden rastgele karıştırmaktır (Monte Carlo); bu, kriterlerin bir arada değiştiği daha gerçekçi durumları yakalar. Felsefi sonucu şudur: yöntem eleme ya da tercih üretmez, denetim yapar. Bir sıralamanın arkasına "bu ne kadar sağlam" etiketi asar.

Analiz beş adımda ilerler; hepsi seçilen ev sahibi yöntemin (TOPSIS, SAW, VIKOR gibi) tekrar tekrar çalıştırılmasına dayanır.

Birinci adım, temel çalıştırma. Ev sahibi yöntem, karar vericinin verdiği başlangıç ağırlıklarıyla bir kez çalıştırılır. Bu çalıştırmadan çıkan sıra ve puanlar, kıyaslama noktası (temel sıra) olarak saklanır.

İkinci adım, tek tek sarsma (OAT). Her kriter sırayla ele alınır. O kriterin ağırlığı küçük adımlarla (örneğin yüzde beşer) yukarı ve aşağı oynatılır; geri kalan ağırlık, diğer kriterler arasında kendi oranlarını koruyarak yeniden paylaştırılır. Böylece toplam ağırlık her zaman bir kalır. Her adım için ev sahibi yöntem yeniden çalıştırılır ve o senaryonun sırası kaydedilir.

Üçüncü adım, karşılaştırma. Her senaryonun sırası, temel sırayla karşılaştırılır. Kazanan aynı mı kaldı, sıralar ne kadar birbirine benziyor, bu adımda çıkarılır.

Dördüncü adım, üç özet sayı. Bütün senaryolar bir araya getirilerek üç sayı hesaplanır: kazananın kaç senaryoda değişmediğinin oranı (kararlılık oranı), her senaryo sırasının temel sırayla ne kadar benzeştiğini gösteren Spearman korelasyonu ve bir kriterin kazananı devirmek için ne kadar oynatılması gerektiğini gösteren kritik ağırlık değişimi.

Beşinci adım, Monte Carlo genişletmesi. Tek tek sarsma, kriterlerin birlikte değiştiği durumları göremez. Bu yüzden yöntem, toplamı bir olacak biçimde çok sayıda rastgele ağırlık takımı üretir (Dirichlet dağılımından), her takım için ev sahibi yöntemi yeniden çalıştırır ve ortalama Spearman korelasyonunu, ortalama kararlılık oranını raporlar.

Adımların formülleri ve ara tablolar DecisionMind'daki yöntem sayfasında verilir; bu kart formül taşımaz.

Üç sayı üç farklı soruya cevap verir. Kritik ağırlık değişimi, kazananın hangi ağırlıkta devrileceğini gösterir; büyük bir değer (örneğin 0,30) kazananın kolay kolay değişmeyeceği, küçük bir değer (0,05) ise kazananın herhangi bir tartışmada devrilebileceği anlamına gelir. Kararlılık oranı, denenen senaryoların yüzde kaçında kazananın aynı kaldığını söyler; yüzde yüze yakınsa kazanan sağlamdır. Ortalama Spearman korelasyonu ise yalnız kazananı değil, bütün sırayı karşılaştırır; bire yakınsa sıraların tamamı neredeyse aynı kalmıştır, sıfıra yakınsa ağırlıklar sırayı baştan aşağı karıştırmaktadır. Hiçbiri "bu ağırlıklar doğru" demez; hepsi "bu ağırlıklarla üretilen cevap, ağırlıklar biraz kayarsa ne olur" sorusuna cevap verir. Bu nedenle:

"Analiz A1'in en iyi seçenek olduğunu kanıtladı"

yerine:

"A1, verilen ağırlıklarla en iyi seçenektir; bu sonuç ağırlıklardaki en fazla şu kadarlık bir değişikliğe kadar aynı kalmaktadır"

biçiminde yazmak doğrudur.

Ağırlık duyarlılık analizi kesin veriyle çalışır ve kendi başına bir karar tablosuna ihtiyaç duymaz. İhtiyacı olan şey, önceden tamamlanmış bir ağırlıklı sıralama analizidir: karar tablosu, kriter yönleri, başlangıç ağırlıkları ve bu ağırlıklarla üretilmiş bir ev sahibi yöntem sonucu. Buna ek olarak iki ayar gerekir: tek tek sarsma adımının büyüklüğü (örneğin yüzde beş) ve Monte Carlo denemesinin sayısı (birkaç bin deneme genelde yeterlidir). DecisionMind'da bu yöntemin bir uzantısı yoktur; aynı mantık ağırlık yerine sınır değerleri veya kriter kaldırma üzerinden çalışan komşu duyarlılık araçlarıyla (Morris, Sobol, kritik ölçüt kaldırma) tamamlanır.

Ağırlıklar uzman görüşüyle, oylamayla ya da tartışmayla belirlenmişse ve kazananın ne kadar sağlam olduğu rapor edilmek isteniyorsa bu yöntem tam yerindedir. Ayrıca birden çok paydaşın farklı ağırlık önerdiği durumlarda, "hangi öneri sırayı değiştiriyor" sorusuna somut cevap verir.

Kullanılmaması gereken durumlar da vardır. Ağırlıklar yasayla, standartla ya da sözleşmeyle sabitse ve değiştirilmesi zaten söz konusu değilse duyarlılık analizi gereksiz bir belirsizlik izlenimi yaratır. Henüz bir ev sahibi sıralama analizi yapılmamışsa bu yöntemin test edecek bir şeyi yoktur; önce sıralama, sonra duyarlılık gelir. Kriter sayısı sabit tutulup yalnız bir tek girdi puanının (bir hücrenin) doğruluğu sorgulanıyorsa bu yöntem yerine ölçüm belirsizliği analizi daha uygundur.

Elde tamamlanmış bir ağırlıklı sıralama var, kazanan ne kadar sağlam bilinmek isteniyor → Ağırlık Duyarlılık Analizi

Ağırlıklar arasındaki etkileşim ve doğrusal olmama da merak ediliyor → Morris tarama, sonra Sobol

İki farklı analizin ürettiği sıraların birbirine ne kadar benzediği soruluyor → Spearman Sıra Korelasyonu

Ağırlıkların kendisi değil, pairwise karşılaştırma matrisinin tutarlılığı sorgulanıyor → GCI, HCI

Yöntemin en büyük gücü, herhangi bir ağırlıklı karar yöntemine (TOPSIS, SAW, VIKOR, WPM) eklenebilmesidir; ev sahibi yöntemi değiştirmez, yalnız onu tekrar tekrar çalıştırır. Kritik ağırlık değişimi tek bir sayı olarak kolayca anlatılır ve karar vericiye "bu kadar oynarsa sonuç değişir" diye somut bir eşik verir. Tek tek sarsma ile Monte Carlo genişletmesini birlikte sunması, hem "bir kriter değişirse" hem "hepsi birden değişirse" sorularını aynı raporda cevaplar. Hesap yükü düşüktür; ev sahibi yöntem hızlıysa binlerce senaryo kısa sürede denenebilir.

Sınırlılıkları ağırlıklı yöntemlerin kendi sınırlılıklarını miras alır. Tek tek sarsma, kriterler arasındaki etkileşimi göstermez; iki kriter birlikte değiştiğinde ortaya çıkan bir devrilme, OAT taramasında görünmeyebilir (Saltelli, Tarantola, Campolongo ve Ratto, 2002). Kritik ağırlık değişimi yalnız en yakın devrilme noktasını gösterir; ikinci ya da üçüncü en yakın devrilmeyi göstermez. Monte Carlo genişletmesi çok sayıda tekrar gerektirir; ev sahibi yöntem yavaşsa (örneğin büyük bir ELECTRE ya da PROMETHEE hesabı) binlerce tekrar zaman alabilir. Son olarak yöntem, hangi ağırlığın "doğru" olduğuna karar vermez; yalnız mevcut ağırlıkların ne kadar kırılgan olduğunu gösterir.

En sık hata, kararlılık oranını ya da kritik ağırlık değişimini "yöntem doğru sonucu buldu" diye okumaktır; bu sayılar doğruluk değil kırılganlık ölçer. İkinci hata, yalnız tek tek sarsma yapıp Monte Carlo adımını atlamaktır; bu durumda kriterlerin birlikte değişmesinden doğan devrilmeler kaçırılır. Üçüncü hata, sarsma adımını (örneğin yüzde bir) çok küçük seçip "sonuç çok sağlam" sonucuna varmaktır; adım küçüldükçe hiçbir devrilme yakalanmaz, bu sağlamlık değil ölçüm hassasiyetsizliğidir. Dördüncü hata, kritik ağırlık değişimini bulduktan sonra raporda yalnız "sağlam" ya da "kırılgan" demek, hangi kriterin bu kırılganlığa yol açtığını söylememektir.

Temel ilke şudur:

Ağırlık duyarlılık analizi bir sıralamayı doğrulamaz; o sıralamanın hangi ağırlık aralığında geçerli olduğunu söyler ve rapor bu aralığı açıkça yazmalıdır.