Çift tereddütlü bulanık TODIM (Liu, Tariq, Khan ve Abdullah, 2023)

Bir uluslararası kuruluş, Rusya-Ukrayna savaşının küresel tedarik zincirlerine etkisi karşısında beş bölgenin (Avustralya, Avrupa, Kuzey Amerika, Güney Amerika, Asya) direncini karşılaştırmak istemektedir. Beş ölçüt vardır ve hepsi "çoğu iyi"dir: enerji arzı, ulaşım, tedarik zinciri bütünlüğü, yenilebilir yağ arzı ve gıda tedariki. Uzman paneli her bölge-ölçüt çiftini sözel bir terimle (çok yüksek, yüksek, orta, düşük, çok düşük) değerlendirmiş, bu terimler önceden ilan edilmiş bir sözlükle destek-ret çiftlerine çevrilmiştir. Ağırlıklar enerji ve ulaşıma 0,25, tedarik zinciri ve yenilebilir yağa 0,20, gıda tedarikine 0,10 olarak verilmiştir (enerji referans kriterdir, ağırlık eşitliğinde en düşük numaralı kriter seçilir).

Yöntem her hücrenin destek-ret skorunu bulur, kriterler arası göreli ağırlıkları kurar, her bölge çiftini ikişer ikişer karşılaştırır: kazanan tarafta pozitif, kaybeden tarafta Φ=1 ile büyütülmüş negatif katkı toplar ve küresel değeri 0-1 aralığına ölçekler.

Sonuç şöyle okunur. Avustralya, enerji ve yenilebilir yağ ölçütlerinde en yüksek destek kümesine sahiptir; bu iki ölçüt referans kriter ve ikinci en ağır ölçüttür. Bu üstünlük diğer kriterlerdeki orta düzey performansını fazlasıyla dengeler. Avrupa ulaşımda en yüksek desteğe sahip olsa da enerjide düşük kalır ve son sıradadır.

Bu sonuç, makalenin yayımladığı sıradan (Avrupa birinci, Kuzey Amerika ikinci, Avustralya üçüncü, Asya dördüncü, Güney Amerika beşinci) tamamen farklıdır; hatta neredeyse tersinedir. Kurulun tereddüdü şudur: bu fark dikkat katsayısı Φ'nin seçiminden mi kaynaklanır? Φ=0,5'ten Φ=5'e kadar denendiğinde (bağımsız Python ile aynı motor yeniden koşturularak), sıra Avustralya-Asya-Güney Amerika-Kuzey Amerika-Avrupa olarak değişmeden kalır. Yani fark Φ'den gelmez. Makalenin kendi yönteminin taşıdığı karmaşık sayı bileşeninden gelir ve DecisionMind bu bileşeni bu uzantıda hesaba katmaz.

Raporda: "DecisionMind'ın çift tereddütlü TODIM motoru bu veri kümesinde Avustralya'yı birinci bulmaktadır; bu sıra dikkat katsayısı Φ=0,5 ile Φ=5 arasında değişmemektedir. Ancak bu sonuç, aynı verinin kaynağı olan makalenin (Liu ve ark., 2023) karmaşık bileşenli tam modelinin yayımladığı sırayla (orada Avrupa birincidir) örtüşmemektedir; DecisionMind yalnızca modelin karmaşık bileşensiz özel halini çalıştırır ve bu fark raporda mutlaka belirtilmelidir."

Kaynak: Girdi tablosu Liu, Tariq, Khan ve Abdullah'ın (2023) makalesindeki Tablo 3 ve Tablo 4'ten (sözel terim sözlüğü ve bölge puanları) alınmıştır. Küresel değerler, DecisionMind'ın çift tereddütlü TODIM motorunun (karmaşık bileşen olmadan) bağımsız olarak koşturulmasıyla bu kartın yazarınca hesaplanmıştır ve manifestin kendi doğrulama kaydıyla (±0,001 tolerans) birebir örtüşür. Φ duyarlılığı senaryosunun sayıları da aynı motorla ayrıca hesaplanmıştır.

Bir kamu kurumu, ağ güvenliği izleme hizmeti için üç sağlayıcı arasından seçim yapacaktır. Üç ölçüt vardır ve hepsi "çoğu iyi"dir: tehdit tespit hızı, yanlış alarm oranının düşüklüğü ve olay müdahale ekibinin deneyimi. Güvenlik ekibi, geçmiş sızma testlerinden ve referans görüşmelerinden edindiği kanıya göre her sağlayıcı için hem ne kadar güvendiğini hem ayrı bir gerekçeyle ne kadar çekince duyduğunu bildirmiştir. Güven ve çekince farklı kaynaklardan (test sonuçları ve referans görüşmeleri) geldiği için birbirinden türetilmemiştir. Tehdit tespit hızına en yüksek ağırlık verilmiştir.

Yöntem üç sağlayıcıyı ikişer ikişer karşılaştırır: her kriterde destek-ret skor farkına göre kazanan-kaybeden yönünü belirler, kümeler arası uzaklığı hesaplar ve küresel değeri kurar. Diyelim ki en hızlı tespit süresine sahip sağlayıcı aynı zamanda olay müdahale deneyiminde en geniş çekince kümesine sahiptir; yine de birinci çıkar, çünkü tespit hızının ağırlığı en yüksektir.

Ekibin tereddüdü şudur: bu sağlayıcının müdahale deneyimi hakkındaki çekince kümesi geniştir, yani bazı referanslar olumsuz, bazıları olumlu görüş bildirmiştir. Bu görüş ayrılığı küresel değerde küçük bir ağırlıkla temsil edilir ve görünmez kalabilir. Ekip, sözleşme öncesi bu görüş ayrılığının kaynağını ayrıca araştırmalıdır.

Raporda: "Tehdit tespit hızına verilen en yüksek ağırlıkla en hızlı sağlayıcı öne çıkmaktadır. Bu sağlayıcının olay müdahale deneyimi hakkında referanslar arasında görüş ayrılığı bulunmaktadır; bu ayrılığın kaynağı sözleşme öncesi ayrıca araştırılmalıdır."

Öğretici tabloda her hücrenin ret kümesini destek kümesinden türetmek, örneğin Avustralya'nın enerji kümesini {0,4;0,4;0,6} desteğe karşılık {0,4;0,6;0,6} ret olarak eklemek, çift yapıyı fiilen düz tereddütlü TODIM'e indirger; ret tarafının bağımsız katkısı görünmez olur. İkinci yanlış, DecisionMind'ın bu tablodaki sonucunu (Avustralya birinci) makalenin (Liu ve ark., 2023) kendi sonucuymuş gibi raporlamaktır; makalenin karmaşık bileşenli tam modeli aynı veriden Avrupa'yı birinci çıkarmıştır ve bu iki sonuç aynı şey değildir. Üçüncü yanlış, Avustralya'nın 1,000 küresel değerini "en dirençli bölge" diye mutlak bir yargıya çevirmektir; bu değer yalnızca bu beş bölgeyi birbirine göre ölçekler.