Yöntemler · Üstünlük
ELECTRE (ELimination Et Choix Traduisant la REalité)
Tek bir yöntem değil, bir üstünlük (outranking) yöntemleri ailesidir. Aile, "hangi seçenek hangisini açıkça geçer" ilişkisini uyum ve uyumsuzluk ölçütleriyle kurar. Aynı temel mantıktan yola çıkan üyeler, amaca göre seçim, sıralama ya da sınıflama üretir.
Temel yöntemin veri türü: Kesin (Classical)
Yöntem Nedir?
ELECTRE, tek bir hesap prosedürünün adı değildir. Bernard Roy'un 1968'de önerdiği bir yaklaşımın etrafında büyümüş bir ailenin adıdır. Ailenin ortak sorusu şudur: bir seçenek (a) bir başkasını (b) gerçekten üstünlüyor mu? Yani a'nın b'den açıkça daha iyi olduğu güvenilir biçimde söylenebiliyor mu? Aile bu soruya cevap ararken TOPSIS veya SAW gibi telafi edici yöntemlerin aksine davranır: tek bir kriterdeki çok kötü bir performansın diğer kriterlerdeki iyi performansla örtülmesine izin vermez.
Ailenin üyeleri bu ortak soruyu farklı çıktı türlerine bağlar. ELECTRE I bu ilişkiden, hiçbir başkası tarafından üstünlenmeyen bir "çekirdek küme" seçimi (choice) çıkarır; bu adım kendi kartında ayrıntılı anlatılır (bkz. ELECTRE I kartı). ELECTRE II ve III aynı ilişkiyi bir tam veya kısmi sıralamaya çevirir. ELECTRE TRI ise seçenekleri birbiriyle değil önceden tanımlanmış kategori sınırlarıyla karşılaştırır ve her birini bir sınıfa (kabul/şartlı/red gibi) atar. Bu kart ailenin ortak mantığını ve üyeler arasındaki bu farkı anlatır; ELECTRE I'in adım adım hesabını tekrarlamaz.
Yöntemin Felsefesi
Ailenin felsefesi, "en iyi puanı kim aldı" sorusunu değil "kimin kimi geçtiği güvenilir biçimde söylenebilir mi" sorusunu merkeze koyar. Bir seçeneğin bir başkasını geçtiğini iddia edebilmek için iki şey birlikte gerekir. Birincisi uyumdur (concordance): kriterlerin yeterince büyük bir kısmı bu iddiayı desteklemelidir. İkincisi uyumsuzluğun yokluğudur (non-discordance): karşı tarafın açık ara üstün olduğu tek bir kriter bile bu iddiayı çürütebilir. Bu ikinci koşul, telafi edici olmayan (non-compensatory) bir mantıktır ve bir tür veto gibi çalışır.
Aile üyeleri bu ortak felsefeyi farklı derecelerde katılaştırır ya da yumuşatır. ELECTRE I ilişkiyi keskin bir eşik çiftiyle (uyum eşiği, uyumsuzluk eşiği) "üstünler / üstünlemez" biçiminde ikiye böler ve durur. ELECTRE II, biri sıkı biri gevşek iki farklı üstünlük ilişkisi tanımlar ve bunları birleştirerek tam bir sıra kurar. ELECTRE III, keskin eşikler yerine kademeli eşikler (tercih, kayıtsızlık ve veto eşikleri) kullanır. Böylece "üstünler mi üstünlemez mi" ikili sorusu yerine "ne derece üstünler" sorusuna 0 ile 1 arasında bir güvenilirlik derecesiyle cevap verir.
Bu dereceler bir sıralama prosedürüyle (exploitation) tam sıraya çevrilir. ELECTRE TRI ise karşılaştırmayı seçenekler arasında değil, seçenek ile sabit kategori sınır profilleri arasında yapar; sonuç bir sıra değil bir sınıf atamasıdır. Ortak nokta hepsinde aynıdır: bir kriterdeki ciddi zayıflık, diğer kriterlerdeki güçle asla otomatik olarak kapatılmaz.
Yöntem Nasıl Çalışır?
Ailenin bütün üyeleri aynı üç ortak adımla başlar, sonra amaca göre ayrışır.
Birinci adım, ölçek eşitleme (normalizasyon). Bu adım ailenin tüm üyelerinde ortaktır. Kriterler farklı birimlerdedir; her sütun kendi büyüklüğüne bölünerek birimsiz, karşılaştırılabilir hale getirilir.
İkinci adım, ağırlıklama. Bu adım da ortaktır. Eşitlenmiş her sütun, kriterin ağırlığıyla çarpılır. Ağırlıklar burada TOPSIS'teki gibi bir "değiş tokuş oranı" değil, kriterin karara katılan bir "oy ağırlığı"dır.
Üçüncü adım, uyum ve uyumsuzluk. Bu adım da ortaktır. Her seçenek çifti için, birinin diğerinden en az o kadar iyi olduğu kriterlerin ağırlıkları toplanır (uyum) ve karşı tarafın açık ara üstün olduğu kriterdeki en büyük fark ölçülür (uyumsuzluk).
Dördüncü adımda aile ayrışır. ELECTRE I bu iki indeksi birer eşikle karşılaştırır ve keskin bir üstünlük ilişkisi kurar. Hiçbir başkası tarafından üstünlenmeyenlerin kümesini, yani çekirdek kümeyi, verir; bu adımın ayrıntısı ELECTRE I kartındadır. ELECTRE II aynı indeksleri iki farklı sıkılıkta eşikle değerlendirir; güçlü ve zayıf üstünlük ilişkilerini birleştirir ve bir sıra üretir.
ELECTRE III, kullanıcının belirlediği tercih, kayıtsızlık ve veto eşikleriyle her ikili karşılaştırmaya keskin 0/1 yerine kademeli bir güvenilirlik derecesi verir. Bu dereceler üzerinden bir sıralama prosedürü işletilir. ELECTRE TRI, seçenekleri birbiriyle değil sabit kategori sınır profilleriyle aynı uyum/uyumsuzluk mantığıyla karşılaştırır ve her seçeneği bu profillere göre bir kategoriye yerleştirir.
Beşinci adım, sonucu okuma. Çıktı türü üyeye göre değişir: küme (I), sıra (II, III) ya da kategori (TRI); ama hiçbirinde bir kriterdeki çok kötü performans otomatik olarak silinmez.
Adımların formülleri, ara tabloları ve atıf biçimleri DecisionMind'daki yöntem sayfasında verilir; bu kart formül taşımaz.
Çıktı Nasıl Yorumlanır?
Çıktının ne anlama geldiği, ailenin hangi üyesini kullandığınıza bağlıdır. Bir küme (ELECTRE I) "en iyiler" değil "bu eşiklerle ayrılamayanlar" demektir. Bir sıra (ELECTRE II, III) TOPSIS'teki gibi bir uzaklık puanı değildir.
İkili üstünlük ilişkilerinden inşa edilmiş bir düzendir; ardışık iki seçenek arasındaki "birinci, ikinci" ilişkisi her zaman aynı güvenilirlikte değildir. Bir kategori ataması (TRI), seçeneğin mutlak kalitesini değil önceden tanımlanmış sınır profillerine göre nereye düştüğünü söyler. Sınır profilleri değişirse atama da değişir.
Bu nedenle:
"ELECTRE, A2'yi en iyi seçenek olarak buldu"
yerine:
"Seçilen ELECTRE üyesi ve eşiklerle A2 şu ilişkide öne çıkmaktadır (küme/sıra/kategori); bu sonuç eşiklerin ve ağırlıkların bir fonksiyonudur"
biçiminde, hangi üyenin hangi çıktı türünü ürettiğini açıkça belirterek yazmak doğrudur.
Veri Türü ve Girdiler
Aile kesin (crisp) veriyle çalışır: her hücrede tek bir sayı. Elinizde şunlar olmalı: satırlarda seçenekler, sütunlarda kriterler, her kriter için yön bilgisi, toplamı 1 olan ağırlıklar. Aileye özgü ek bir girdi eşiklerdir. ELECTRE I için tek bir uyum ve uyumsuzluk eşiği yeterlidir.
ELECTRE III ve TRI ise karar vericinin her kriter için ayrı ayrı belirlemesi gereken tercih, kayıtsızlık ve veto eşiklerini ister; bu eşikler dışarıdan gelir, veriden tahmin edilmez. Ağırlık üretmez, ister; AHP, BWM, Entropy, CRITIC gibi kaynaklardan alınabilir. DecisionMind'da temel ELECTRE ile birlikte on altı ELECTRE ailesi üyesi bulunur (ELECTRE I, II, III, TRI ve türevleri). En az iki seçenek gerekir; üç ile on beş seçenek, üç ile on iki kriter arası rahat çalışır.
Ne Zaman Kullanılır, Ne Zaman Kullanılmaz?
Bir kriterdeki çok kötü bir performansın diğer kriterlerdeki iyilikle telafi edilmesini istemiyorsanız aile uygun bir seçimdir. Bu telafisiz mantığın seçim, sıralama ya da sınıflama biçiminde bir çıktıya dönüşmesi gerektiğinde de aynı aile işe yarar. Hangi üyeyi seçeceğiniz, ihtiyacınız olan çıktı türüne bağlıdır. Kullanılmaması gereken durum ise, bir kriterdeki zayıflığın başka bir kriterle kapanmasının kabul edilebilir olduğu durumdur. O zaman telafi edici bir yöntem daha basit olur ve daha az parametre gerektirir.
Öne çıkanlar kümesi yeterli, tam sıraya gerek yok → ELECTRE I
Tam bir sıra gerekiyor, eşikler keskin belirlenebiliyor → ELECTRE II
Tam bir sıra gerekiyor, eşikler kademeli/belirsiz → ELECTRE III
Seçenekleri sabit kategorilere (kabul/red gibi) ayırmak gerekiyor → ELECTRE TRI
Bir kriterdeki zayıflığın başkasıyla kapanması kabul ediliyorsa → TOPSIS, SAW, MOORA
Güçlü Yanları
Ailenin en belirgin üstünlüğü esnekliğidir. Aynı uyum/uyumsuzluk çekirdeğinden basit bir seçime de (I), ayrıntılı bir sıralamaya da (III), sabit kategorilere yerleştirmeye de (TRI) ulaşabilirsiniz. Telafisiz mantığı, bir kriterde asla taviz verilemeyen kararlarda (güvenlik, çevresel eşik gibi) doğal bir çerçeve sunar. Roy'un 1968'de attığı temel, elli yılı aşkın bir uygulama ve genişletme literatürüyle desteklenmiştir. Mardani ve arkadaşlarının 2000-2014 taramasında ELECTRE ailesi, incelenen yöntemler arasında dördüncü en çok uygulanan aile olarak öne çıkar (Mardani ve ark., 2015, Tablo 4).
Zayıf Yanları
Sınırlılıkları da aynı esneklikten gelir. Birincisi, parametre yükü söz konusudur: ELECTRE III ve TRI, karar vericinin her kriter için ayrı tercih/kayıtsızlık/veto eşiği belirlemesini ister. Bu eşiklerin elde edilmesi, TOPSIS'in tek bir ağırlık kümesine göre daha zahmetlidir. İkincisi, eşiklerin seçimi sonucu doğrudan belirler ve bu duyarlılık literatürde ayrıntılı incelenmiştir (Govindan ve Jepsen, 2016).
Üçüncüsü, aile üyeleri arasında hangi çıktı türünün (küme, sıra, kategori) gerektiğine karar vermeden yöntem seçmek, yanlış üyenin kullanılmasına yol açabilir. Dördüncüsü, Roy'un kendisinin de belirttiği gibi (Roy, 1991), yaklaşım pratikte az sayıda karar vericinin sezgisel olarak takip edebileceği kadar teknik bir eşik/parametre kümesi gerektirir. Bu da yöntemin şeffaflığını karar vericiye anlatma yükünü artırır.
Sık Yapılan Hatalar
En yaygın hata, ihtiyaç duyulan çıktı türünü (küme mi, sıra mı, kategori mi) belirlemeden aile içinden rastgele bir üye seçmektir. Küme yeterliyken ELECTRE III'ün ayrıntılı eşiklerini toplamak ya da tam sıra gerekirken ELECTRE I'in kümesiyle yetinmek, gereksiz karmaşıklığa ya da eksik bilgiye yol açar. İkinci hata, eşikleri (özellikle veto eşiğini) veriye ve karar vericinin gerçek toleransına bakmadan varsayılan bir değer olarak almaktır. Üçüncü hata, ELECTRE TRI'nin kategori sınır profillerini teknik bir varsayılan gibi kabul edip bunun aslında bir değer yargısı (hangi performans "kabul edilebilir" sayılır) olduğunu unutmaktır. Dördüncü hata, aile içindeki bir üyenin sonucunu diğerininkiyle doğrudan karşılaştırmaktır; farklı üyeler farklı varsayımlarla farklı çıktı türleri üretir.
Temel ilke şudur:
ELECTRE bir tek hesap değil bir seçimler ailesidir; hangi üyenin kullanılacağı önce "ne tür bir çıktıya ihtiyacım var" sorusuyla, sonra eşiklerin karar vericiden nasıl alınacağı sorusuyla belirlenir.
Vakalar
Her vaka bir karar tablosuyla başlar, yöntemin bu tabloya ne yaptığını kelimeyle anlatır ve sonucun nasıl okunacağını gösterir. Birinci vaka DecisionMind'ın kendi doğrulama kaydından alınmış öğretici bir örnektir; diğerleri öğretici kurgudur.
1. İşletme: Üç yazılım tedarikçisi arasında ön karşılaştırma (öğretici örnek, ELECTRE I mantığı)
Bir üretim şirketi kurumsal kaynak planlama yazılımı için üç tedarikçi teklifi arasında ön karşılaştırma yapacaktır. Üç ölçüt vardır, üçü de "çoğu iyi": fonksiyonel kapsam puanı, entegrasyon kolaylığı puanı, satış sonrası destek puanı. Şirket henüz hiçbir ölçütü diğerinden daha önemli görmediği için eşit ağırlık (üçte bir) kullanmış, uyum eşiğini c̄ = 0,75, uyumsuzluk eşiğini d̄ = 0,25 olarak sabitlemiştir.
| Teklif | Fonksiyonel kapsam | Entegrasyon kolaylığı | Satış sonrası destek |
|---|---|---|---|
| A1 | 3 | 5 | 4 |
| A2 | 5 | 3 | 3 |
| A3 | 4 | 4 | 5 |
| Yön | çoğu iyi | çoğu iyi | çoğu iyi |
| Ağırlık | 0,333 | 0,333 | 0,333 |
Yöntem önce sütunları eşitler ve ağırlıklandırır, sonra her teklif çifti için uyum ve uyumsuzluk indekslerini hesaplar. Üç ölçüt eşit ağırlıklı olduğu için bir teklifin bir diğerini yalnızca iki ölçütte geçtiği durumlarda uyum toplamı en fazla 0,667 olabilir. Uyumun 1,00 olması için üçüncü ölçütte de geçmesi gerekir. Bu veri setinde hiçbir teklif bir diğerini her üç ölçütte birden geçmiyor, bu yüzden hiçbir ikili karşılaştırmada uyum 0,75 eşiğine ulaşmıyor (en yükseği 0,667). Eşik aşılmadığı için uyumsuzluk değerine bakılmasına bile gerek kalmıyor: hiçbir teklif bir diğerini üstünleyemiyor.
| Teklif | Çekirdek kümede mi? |
|---|---|
| A1 | Evet |
| A2 | Evet |
| A3 | Evet |
Sonuç şöyle okunur: bu eşiklerle (c̄ = 0,75, d̄ = 0,25) üç teklif de çekirdek kümede kalır. Bu bir hesaplama arızası değildir. Üç eşit ağırlıklı ölçütle "iki ölçütte geçmek" en fazla 0,667 uyum verir; 0,75 eşiği ise bu veri için en baştan ulaşılamaz biçimde yüksek seçilmiştir.
Şirketin tereddüdü: eşikler gevşetilirse (c̄ = 0,65, d̄ = 0,55) ne olur? Aynı veriyle A3, A2'yi üstünler (uyum = 0,667 ≥ 0,65; uyumsuzluk = 0,50 ≤ 0,55). Çekirdek küme bu durumda {A1, A3}'e iner; A2 dışarıda kalır. Yani sonuç doğrudan eşik seçimine bağlıdır: sıkı eşikte üç teklif de "ayrılamaz", gevşek eşikte A2 elenir. Şirket bu eşiği neden 0,75/0,25 seçtiğini (ya da 0,65/0,55'e neden gevşetmediğini) raporda gerekçelendirmelidir.
Raporda: "Belirlenen uyum ve uyumsuzluk eşikleriyle (c̄ = 0,75, d̄ = 0,25) üç teklif de çekirdek kümede kalmış, hiçbiri kesin olarak öne çıkmamıştır; eşikler c̄ = 0,65 ve d̄ = 0,55'e gevşetildiğinde A2 çekirdek kümenin dışında kalmaktadır."
Kaynak: DecisionMind'ın ELECTRE motoru için hazırlanmış öğretici doğrulama örneği (Roy 1991'in genel outranking yaklaşımına dayanır; makalenin kendisinde bu sayısal örnek yer almaz). Uyum/uyumsuzluk matrisleri ve eşik duyarlılığı bu kartın yazarınca Python ile bağımsız olarak hesaplanmıştır; DecisionMind manifestindeki iç denetim kaydı da aynı sonucu (üç teklifin tamamının çekirdek kümede kalması) doğrulamıştır.
2. Tarım: Bir kooperatifin sulama sistemi ihalesinde tam sıralama (ELECTRE III mantığı)
Bir sulama kooperatifi damla sulama sistemi kurulumu için dört yüklenici teklifi arasında tam bir sıra ister; öne çıkanlar kümesi değil, birinciden sonuncuya bir dizilim gerekir. Dört ölçüt vardır: kurulum maliyeti ve tamamlanma süresi ("azı iyi"), su tasarrufu oranı ve garanti süresi ("çoğu iyi"). Kooperatif her ölçüt için keskin bir eşik yerine kademeli tercih, kayıtsızlık ve veto eşikleri belirlemiştir; örneğin maliyet farkı belirli bir tutarın altında "kayıtsızlık", üzerinde kademeli "tercih", çok büyükse "veto" sayılır.
Yöntem her teklif çiftini bu kademeli eşiklerle karşılaştırır ve keskin bir 0/1 ilişkisi yerine her ikili için 0 ile 1 arasında bir güvenilirlik derecesi üretir. Bu dereceler bir sıralama prosedürüyle tam bir sıraya çevrilir. Diyelim ki su tasarrufunda en iyi teklif aynı zamanda en pahalısıdır; maliyet farkı veto eşiğinin altında kaldığı için bu teklif yine de yüksek bir güvenilirlik derecesiyle öne çıkar ve sıralamada birinci olur.
Kooperatifin tereddüdü: veto eşiği maliyet için daha düşük belirlenseydi (yani büyük maliyet farkını daha "affetmez" bir çizgiye çekselerdi), en pahalı teklifin güvenilirlik derecesi düşer ve sıralamada geriye kayabilirdi. ELECTRE III'te sıra, ELECTRE I'in kümesinden farklı olarak eşiklerin sadece "aşıldı mı aşılmadı mı" değil, "ne kadar aşıldığı"na duyarlıdır. Bu da veto eşiğinin seçimini kritik bir karar haline getirir.
Raporda: "Belirlenen tercih, kayıtsızlık ve veto eşikleriyle tam sıralamada en yüksek su tasarrufuna sahip teklif birinci çıkmıştır; bu sonuç, maliyet ölçütü için seçilen veto eşiğine duyarlıdır ve eşik daraltıldığında sıra değişebilir."
3. Sağlık: Bir sağlık kurumunun aşı tedarikçilerini kategoriye ayırması (ELECTRE TRI mantığı)
Bir sağlık kurumu aday aşı tedarikçilerini tek tek sıralamak yerine üç sabit kategoriye ayırmak ister: "doğrudan onay", "ek inceleme" ve "reddedilir". Kurum önceden üç ölçüt için (soğuk zincir uygunluğu, teslimat güvenilirliği, birim maliyet) iki sınır profil tanımlamıştır: "doğrudan onay" ile "ek inceleme" arasındaki sınır ve "ek inceleme" ile "reddedilir" arasındaki sınır.
Yöntem her aday tedarikçiyi kendi aralarında değil, bu iki sınır profille aynı uyum/uyumsuzluk mantığıyla karşılaştırır. Her adayı üstünlediği ya da üstünlenmediği sınıra göre bir kategoriye yerleştirir. Diyelim ki bir aday soğuk zincir uygunluğunda sınırın üzerinde ama teslimat güvenilirliğinde sınırın hemen altındadır; bu durumda "ek inceleme" kategorisine düşer.
Kurumun tereddüdü: sınır profillerinin kendisi bir ölçüm değil, kurumun risk toleransını yansıtan bir karardır. Sınır profili biraz gevşetilirse "ek inceleme"deki bir aday "doğrudan onay"a geçebilir. ELECTRE TRI burada nesnel bir eşik bulmaz, kurumun önceden koyduğu eşiği tutarlı biçimde uygular; sınırın kendisi tartışmaya açık kalır ve ayrıca gerekçelendirilmelidir.
Raporda: "Tanımlanan sınır profillerine göre adayların ikisi doğrudan onay, biri ek inceleme kategorisine düşmüştür; sınır profilleri kurumun risk toleransını yansıtan bir karardır ve ek incelemedeki adayın sınıfı, teslimat güvenilirliği sınırı gevşetildiğinde değişebilir."
4. Yapılmaması Gereken
Aynı yazılım tedarikçisi tablosunda üç teklifin de çekirdek kümede kalması karşısında eşikleri hiç sorgulamadan "üç teklif de eşit derecede iyi, hangisi seçilirse seçilsin" diye rapor etmek yanlıştır. Doğrusu, üç eşit ağırlıklı ölçütle 0,75 uyum eşiğinin bu veri için baştan ulaşılamaz olduğunu söylemektir. İkinci yanlış, ELECTRE I'in çekirdek küme çıktısını alıp "A1 birinci, A2 ikinci" gibi bir tam sıralama cümlesiyle sunmaktır. Küme çıktısı bir sıralama değildir; tam sıra isteniyorsa ailenin başka bir üyesi (II veya III) kullanılmalıdır.
Üçüncü yanlış, ELECTRE III veya TRI'nin eşiklerini ya da sınır profillerini "yöntemin kendiliğinden bulduğu nesnel bir çizgi" gibi sunmaktır. Bunlar karar vericinin girdisidir ve raporda böyle açıklanmalıdır.
Uzantılar: farklı veri türleri için
ELECTRE yönteminin kütüphanede 15 uzantısı var. Aynı karar mantığı, farklı veri türü: veriniz kesin sayı değilse ilgili veri türü kartını okuyun, sonra o türdeki üyeyi açın.
Kesin (Classical)4
- ELECTRE I - ELimination Et Choix Traduisant la REalité I (kernel / choice)1968 ↗
- ELECTRE II - ELimination Et Choix Traduisant la REalité II (complete ranking)1973 ↗
- ELECTRE III - ELimination Et Choix Traduisant la REalité III (pseudo-criteria, fuzzy outranking)1978 ↗
- ELECTRE IV - ELimination Et Choix Traduisant la REalité IV (no criterion weights)Akademi kartı →
m-Kutuplu (m-Polar)4
- MPF-ELECTRE-I - m-Polar Fuzzy extension of ELECTRE-I (Akram, Waseem & Liu 2019)Akademi kartı →
- MPF-ELECTRE-II - m-Polar Fuzzy extension of ELECTRE-II for multi-criteria group decision making (Akram & Adeel 2023)Akademi kartı →
- MPF-ELECTRE-III - m-Polar Fuzzy extension of ELECTRE-III with pseudo-criterion thresholds, Shannon-entropy objective weights and Li-Wang net credibility ranking (Akram & Adeel 2023)Akademi kartı →
- MPF-ELECTRE-IV - m-Polar Fuzzy extension of ELECTRE-IV with weight-free pseudo-criterion outranking, five dominance classes (quasi/canonical/pseudo/sub/veto), Vallée-Zielniewicz credibility levels and Belton-Stewart ascending+descending distillation (Akram & Adeel 2023)Akademi kartı →
Kaynaklar
Adımların formülleri, ara tabloları ve atıf biçimleri için DecisionMind yöntem sayfası: decisionmind.app/library/electre
Roy, B. (1968). Classement et choix en présence de points de vue multiples (la méthode ELECTRE). Revue Française d'Informatique et de Recherche Opérationnelle, 2(8), 57–75. DOI: 10.1051/ro/196802v100571
Roy, B. (1991). The outranking approach and the foundations of ELECTRE methods. Theory and Decision, 31(1), 49–73. DOI: 10.1007/BF00134132
Figueira, J., Mousseau, V., & Roy, B. (2005). Electre methods. İçinde: Figueira, J., Greco, S., & Ehrgott, M. (Ed.), Multiple Criteria Decision Analysis: State of the Art Surveys (s. 133–162). Springer. DOI: 10.1007/0-387-23081-5_4
Govindan, K., & Jepsen, M. B. (2016). ELECTRE: A comprehensive literature review on methodologies and applications. European Journal of Operational Research, 250(1), 1–29. DOI: 10.1016/j.ejor.2015.07.019
Mardani, A., Jusoh, A., MD Nor, K., Khalifah, Z., Zakwan, N., & Valipour, A. (2015). Multiple criteria decision-making techniques and their applications — a review of the literature from 2000 to 2014. Economic Research-Ekonomska Istraživanja, 28(1), 516–571. DOI: 10.1080/1331677X.2015.1075139