Kendall W (Kendall'ın Uyum Katsayısı)

Kendall W bir sıralama yöntemi değildir; seçenekleri sıralamaz. Elinizde aynı seçenekler için birden çok sıralayıcının ürettiği sıralar varsa (birkaç uzmanın verdiği sıra, birkaç ağırlık senaryosunun ürettiği sıra ya da birkaç yöntemin çıktısı), W bunların hepsinin birbirine ne kadar yakın olduğunu tek bir sayıyla özetler. Çıktısı sıfır ile bir arasında bir katsayıdır; bir, bütün sıralayıcıların birebir aynı sırayı verdiğini, sıfır ise sıralayıcılar arasında rastgele bir dağınıklıktan farksız bir uyumsuzluk olduğunu gösterir.

Yöntem Kendall ve Babington Smith tarafından 1939'da, "m sıralama problemi" başlığıyla tanımlanmıştır ve Kendall τ'nun ikiden fazla sıralayıcıya genişletilmiş biçimidir. Uzman panellerinin, jürilerin ve çok kriterli karar yöntemlerinin ürettiği sıraların uzlaşısını ölçmek için yaygın biçimde kullanılır.

Kendall W'nun arkasındaki fikir, birden çok bağımsız görüşün ne kadar aynı yöne işaret ettiğini ölçmektir. Her sıralayıcı, seçeneklere kendi sırasını verir. Bir seçenek bütün sıralayıcılarda benzer bir sırada çıkıyorsa (hep üstlerde ya da hep altlarda), bu seçeneğin konumu üzerinde güçlü bir uzlaşı var demektir. Sıralayıcılar bir seçeneği bazen birinci bazen sonuncu yapıyorsa, o seçeneğin konumu üzerinde uzlaşı yoktur.

Bu felsefenin sonucu, W'nun "hangi sıra doğru" sorusuna cevap vermemesidir; "sıralayıcılar ne kadar hemfikir" sorusuna cevap verir. Yüksek bir W, sıralayıcıların bir konuda birleştiğini gösterir ama hangi seçeneğin gerçekten iyi olduğunu kanıtlamaz; hepsi birlikte yanılıyor da olabilir. Düşük bir W ise sıralayıcılar arasında gerçek bir görüş ayrılığı olduğunu gösterir ve bu ayrılığın nedeni araştırılmalıdır.

Yöntem dört adımda ilerler.

Birinci adım, sıra matrisini kurma. Her sıralayıcının her seçeneğe verdiği sıra bir tabloya yazılır; satırlar sıralayıcıları, sütunlar seçenekleri temsil eder.

İkinci adım, sütun toplamları. Her seçeneğin bütün sıralayıcılardan aldığı sıraların toplamı hesaplanır. Bir seçenek hep üst sıralarda çıkıyorsa bu toplam küçük, hep alt sıralarda çıkıyorsa büyük olur.

Üçüncü adım, dağılım. Sütun toplamlarının kendi ortalamasından ne kadar uzaklaştığı hesaplanır ve bu uzaklıkların karelerinin toplamı alınır. Sıralayıcılar hemfikirse toplamlar birbirinden çok farklılaşır, çünkü herkes aynı seçenekleri üste aynı seçenekleri alta koyar; sıralayıcılar hemfikir değilse toplamlar birbirine yaklaşır.

Dördüncü adım, ölçekleme. Bu dağılım, sıralayıcı sayısı ve seçenek sayısına göre mümkün olan en büyük dağılıma bölünerek sıfır ile bir arasına ölçeklenir. Sonuç, Kendall W katsayısıdır.

Adımların formülleri ve ara tabloları DecisionMind'daki yöntem sayfasında verilir; bu kart formül taşımaz.

W katsayısı, sıralayıcıların bir bütün olarak ne kadar hemfikir olduğunu gösterir. Bir'e yakın bir W, sıralayıcıların seçenekleri neredeyse aynı sırayla dizdiğini; sıfıra yakın bir W, sıraların birbirinden bağımsız, rastgele dağıldığını gösterir. W, "sıralayıcıların yüzde kaçı aynı fikirde" gibi bir yüzde değildir ve her sıralayıcı çiftinin birebir aynı sırayı verdiği anlamına gelmez; genel bir uzlaşı derecesidir.

Yüksek bir W tek başına hiçbir seçeneği doğrulamaz. Bütün sıralayıcılar aynı yanlış bilgiye, aynı önyargıya ya da aynı eksik veriye dayanıyorsa yüksek bir uzlaşıya rağmen sonuç yanlış olabilir. W yalnız sıralayıcılar arasındaki tutarlılığı ölçer, sıralamanın doğruluğunu değil.

Bu nedenle:

"Kendall W 0,78 çıktı, yani uzmanların yüzde 78'i aynı fikirde"

yerine:

"Kendall W 0,78'dir; bu, uzmanların verdiği sıraların genel olarak güçlü bir uzlaşı gösterdiği anlamına gelir, her uzman çiftinin birebir aynı sırayı verdiği anlamına gelmez"

biçiminde yazmak doğrudur.

Kendall W kesin veriyle çalışır; girdisi sayısal bir karar tablosu değil, aynı seçenekler için birden çok sıralayıcının ürettiği sıra listesidir. DecisionMind'da bu yöntemin ayrı bir uzantısı yoktur; yalnız iki sıralamanın uyumu ölçülecekse Kendall τ kullanılır.

Elinizde şunlar olmalı: aynı seçenek kümesi için en az üç ayrı sıralayıcının verdiği sıra (ikiden az sıralayıcıda Kendall τ yeterlidir). Eşit sıralı (berabere) seçenekler varsa bu durum ayrıca ele alınmalıdır. En az üç seçenek gerekir; seçenek sayısı ve sıralayıcı sayısı arttıkça W daha güvenilir bir uzlaşı ölçüsü verir.

Birden çok uzmanın, birden çok yöntemin ya da birden çok ağırlık senaryosunun ürettiği sıraların genel bir uzlaşı derecesi tek bir sayıyla özetlenmek isteniyorsa Kendall W tam yerindedir. Özellikle uzman paneli ya da jüri değerlendirmelerinde, "bu panel ne kadar hemfikir" sorusuna somut bir cevap verir.

Kullanılmaması gereken durumlar da vardır. Yalnız iki sıralama karşılaştırılacaksa W'ye gerek yoktur, Kendall τ yeterlidir ve yorumu daha doğrudandır. W yüksek çıktığında bunu "sonuç doğrudur" diye okumak yanlıştır; W yalnız uzlaşıyı ölçer, doğruluğu değil. Sıralayıcı sayısı ikiyse W tanımlı değildir; en az üç gerekir.

Üç ya da daha çok sıralayıcının uzlaşısı tek sayıyla özetlenmek isteniyor → Kendall W

Yalnız iki sıralama karşılaştırılacak → Kendall τ

Uzlaşı değil, hangi seçenek çiftinin anlaşmazlık kaynağı olduğu merak ediliyor → sıralayıcı çiftleri arasında ayrı ayrı Kendall τ

Seçenek kümesindeki rastlantıya karşı dayanıklılık merak ediliyor → Bootstrap Resampling

Sıralayıcı sayısı ikiden az → Kendall W tanımlı değildir

Kendall W'nun en önemli üstünlüğü, ikiden fazla sıralayıcının uzlaşısını tek bir yorumlanabilir sayıya indirmesidir; bu, birçok ikili Kendall τ karşılaştırmasını tek tek okumaktan çok daha pratiktir. Hiçbir dağılım varsayımı yapmaz, yalnız sıra bilgisine dayanır. Uzman paneli, jüri değerlendirmesi ya da çoklu yöntem karşılaştırması gibi pek çok alanda doğrudan uygulanabilir (Legendre, 2005).

Sınırlılıkları da bu tasarımdan doğar. Birincisi, W bir uzlaşı ölçüsüdür, doğruluk ölçüsü değildir; bütün sıralayıcılar aynı yanlış varsayıma dayanıyorsa W yüksek çıkar ama sonuç yanlış olabilir. İkincisi, W hangi seçenek çiftinde anlaşmazlık olduğunu göstermez; yalnız genel bir uzlaşı derecesi verir, ayrıntı için sıralayıcı çiftleri arasında ayrı ayrı Kendall τ hesaplanmalıdır. Üçüncüsü, eşit sıralı seçenekler klasik formülde düzeltme gerektirir. Dördüncüsü, az sayıda seçenek ve az sayıda sıralayıcıyla W yalnız birkaç ayrık değer alabilir ve tek bir sıralayıcının farklı davranması W'yu büyük ölçüde oynatabilir (Legendre, 2005, bu duyarlılığı ekoloji verileri üzerinden ayrıntılı incelemiştir).

En yaygın hata, yüksek bir W'yu "sonuç doğrudur" diye okumaktır. Doğrusu, yüksek W'nun yalnız sıralayıcıların birbirine yakın sıralar verdiğini gösterdiğidir; hepsi birlikte yanılıyor olabilir.

İkinci hata, W'yu bir yüzde gibi sunmaktır; "W 0,78, yani uzmanların yüzde 78'i hemfikir" cümlesi yanlıştır, doğrusu W'nun genel bir uzlaşı derecesi olduğudur. Üçüncü hata, düşük bir W çıktığında hangi seçeneğin anlaşmazlık kaynağı olduğunu araştırmadan yalnız "uzlaşı zayıf" diye rapor etmektir; düşük W'nun ardında genellikle bir ya da iki seçenek üzerinde yoğunlaşan bir anlaşmazlık vardır. Dördüncü hata, iki sıralayıcılık bir karşılaştırmada W hesaplamaya çalışmaktır; bu durumda doğru araç Kendall τ'dur.

Temel ilke şudur:

Kendall W, sıralayıcılar arasındaki uzlaşı derecesini ölçer, sıralamanın doğruluğunu değil; yüksek bir W, hangi seçeneğin gerçekten iyi olduğunu değil, sıralayıcıların bu konuda ne kadar hemfikir olduğunu söyler.