Küresel bulanık Z-sayı MARCOS (Niu, 2024)

Bir okulun İngilizce bölümü dört öğretmeni (T1-T4) dört ölçütte değerlendirmiştir: ders planlama becerisi, sınıf yönetimi, öğrenci geri bildirimi ve mesleki gelişim katılımı. Dördü de çoğu iyidir. Bu örnekte ret derecesi sıfır, güvenilirlik dereceleri bire eşit alınmıştır; yalnız destek ve kararsızlık dereceleri değişir. Ağırlıklar zincirlenmiş Küresel bulanık Z-sayı CRITIC'ten gelir.

Yöntem her kriter için PIS ve NIS'i kurar; her hücrenin bu iki noktaya değer×güvenilirlik çarpımı üzerinden uzaklığını hesaplayıp kapanma katsayısına indirger. Bu katsayılarla genişletilmiş tablo kurulur, normalize edilip ağırlıklandırılır ve nihai fayda derecesi (U) hesaplanır.

Sonuç şöyle okunur. T3, dört ölçütte de PIS'e görece yakın bir konumdadır ve en ağırlıklı ölçüt olan Y3'te güçlüdür; T4 yakın bir ikincidir. T1 ve T2 daha gerideki sıralardadır.

Burada önemli bir bildirim gerekir: yukarıdaki nihai fayda dereceleri (0,8100; 0,7821; 0,4681; 0,2760) DecisionMind motorunun bu tabloyu bugün bağımsız olarak yeniden hesaplamasıyla elde edilmiştir ve motorun sıralaması makaledeki sırayla (T3>T4>T1>T2) örtüşür. Ama motorun kendi iç denetim kapısı, bu değerlerin manifestte kayıtlı olan sayılarla (T1=0,700; T2=0,550; T3=0,696; T4=0,507) birebir örtüşmediğini bildirir; manifestteki sayılar makalenin kendi Tablo XXIV/XXV değerlerinden türetilmiştir, motorun bu tabloyu baştan (Tablo IV/V girdisinden) yeniden hesaplamasından değil. Bu, ayrı bir bulgu olarak kayıt altına alınmıştır (bkz. onay notları); SFZN-CRADIS kartında da benzer bir fark bildirilmiştir.

Kurulun tereddüdü şudur: T3'ün dört ölçütteki değerlendirmesi, dış bir gözlemci onayı olmadan yalnız öğretmenin kendi beyanına dayansaydı ne olurdu? Yani güvenilirliği dört ölçütte de düşük olsaydı. Bu senaryo Python ile motorun aynı algoritması kullanılarak yeniden hesaplanmıştır. T3'ün dört ölçütteki güvenilirliği 1,0'dan 0,4'e düşürüldüğünde sıra fiilen değişir: T4 (0,9063) birinci sıraya geçer, T1 (0,7192) ikinci, T2 (0,6522) üçüncü, T3 (0,3232) son sıraya düşer. Buna karşılık yalnız T3'ün tek bir ölçütündeki (Y3) güvenilirliği aynı oranda düşürülürse farklı bir şey olur. T3 birinci sıradan ikinci sıraya düşer (T4 0,7762 ile birinci, T3 0,7251 ile ikinci olur), son sıraya düşmez. Bu, güvenilirliğin genel mi (tüm ölçütlerde tutarlı düşük) yoksa yerel mi (tek bir ölçütte düşük) olduğunun sonucu değiştirdiğini gösterir.

Raporda: "T3, mevcut değerlendirmede en yüksek nihai fayda derecesini almıştır (0,8100); ancak bu üstünlük T3'ün dört ölçütteki değerlendirmesinin güvenilirliğine dayanır. Güvenilirlik dört ölçütte birlikte düşürülürse T3 son sıraya düşmekte, yalnız tek bir ölçütte düşürülürse ikinci sıraya inmektedir; bu nedenle T3'ün değerlendirme kaynağı raporda ayrıca belirtilmelidir."

Kaynak: Niu (2024), IJACSA 15(3), Tablo IV-V (girdi); makale sıralamasıyla (T3>T4>T1>T2) örtüşen bir sıralama motorun bugünkü bağımsız hesaplamasıyla üretilmiştir, ama nihai fayda derecelerinin büyüklüğü manifestteki kayıtlı sayılarla örtüşmez (ayrıntı onay notlarında). Güvenilirlik duyarlılık senaryosu bu kartın yazarınca bağımsız olarak hesaplanmıştır.

Bir kreşler zinciri, dört bakıcı personelin yıllık performans değerlendirmesini yapacaktır. Ölçütler: çocuk güvenliği uygulamaları, ebeveyn iletişimi, günlük etkinlik planlaması ve acil durum müdahale bilgisi; dördü de çoğu iyidir. Her personel için hem kreş müdiresi hem bir ebeveyn temsilcisi destek, ret ve kararsızlık derecelerini ayrı ayrı bildirir; zincir bu iki görüşü tek bir kolektif değerlendirmeye birleştirir. Güvenilirlik, her değerlendiricinin o personeli kaç aydır gözlemlediğinden türetilir: uzun süredir gözlemleyen değerlendiriciler için yüksek, yeni başlayan değerlendiriciler için düşük.

Yöntem her personelin küresel bulanık Z-sayılarının PIS ve NIS'e uzaklığını hesaplar, kapanma katsayısına indirger, genişletilmiş tabloda normalize edip ağırlıklandırarak nihai fayda derecesini bulur. Diyelim ki sonuç, çocuk güvenliğinde çok güçlü ama ebeveyn iletişiminde zayıf olan bir personeli birinci, dört ölçütte de orta düzeyde ama tutarlı olan bir personeli ikinci sıraya koydu.

Zincirin tereddüdü şudur: birinci sıradaki personelin çocuk güvenliği puanı, bu personel yakın zamanda işe başladığı için düşük güvenilirlikle kaydedilmiştir. Güvenilirlik yükseltilirse birinci sıra değişmeyebilir, ama düşürülürse ikinci personel öne geçebilir. Zincir, yıllık prim kararını yalnız tek bir değerlendirme döneminin güvenilirliğine dayandırmadan önce bu duyarlılığı test etmelidir.

Raporda: "Çocuk güvenliğinde öne çıkan personel mevcut değerlendirmede birinci sıradadır; ancak bu ölçütteki değerlendirme düşük güvenilirlikli (yeni gözlem) bir kaynağa dayanmaktadır ve güvenilirlik teyit edilmeden prim kararı verilmemelidir."

Öğretici örnekte T3'ün güvenilirliğini yalnız tek bir ölçütte düşürüp "genel güvenilirlik düşürüldü, T3 son sıraya düştü" diye raporlamak: tek ölçütte düşürüldüğünde T3 ikinci sıraya iner, son sıraya değil; dört ölçütte birlikte düşürüldüğünde son sıraya iner. İkinci yanlış, manifestteki sayıları (T1=0,700 gibi) motorun bugünkü çıktısıymış gibi raporlamaktır; motorun sıralaması bu sayılarla aynı yönde ama büyüklüğü farklıdır. Üçüncü yanlış, bu kartın sonucunu SFZN-CRADIS'in sonucuyla doğrudan karşılaştırmaktır; iki motor aynı hücre biçimini kullansa da farklı adım sırası (tek ideal/anti-ideal toplamı ile hücre bazlı PIS/NIS kapanma katsayısı) izler.