Yöntemler · Sıralama
CODAS (Combinative Distance-Based Assessment)
CODAS, seçenekleri en kötü referans noktasına iki farklı uzaklık ölçüsüyle karşılaştırarak sıralayan bir yöntemdir. Önce düz çizgi, yani Öklid uzaklığına bakar; seçenekler birbirine çok yakın çıkarsa ek olarak yatay ve dikey uzaklığı, yani Taksi uzaklığını da kullanır.
Temel yöntemin veri türü: Kesin (Classical)
Yöntem Nedir?
CODAS, elinizde sayılarla doldurulmuş bir karar tablosu olduğunda seçenekleri tek bir sıraya dizen bir sıralama yöntemidir. Çıktısı her seçenek için bir değerlendirme puanıdır; bu puan pozitif ya da negatif olabilir. Seçenekler bu puana göre sıralanır. Yöntem TOPSIS gibi bir uzaklık ölçüsü kullanır. Ama TOPSIS'ten farklı olarak yalnız tek bir "en kötü" referans noktasına bakar. Tek bir uzaklık türü yerine iki farklı uzaklık türünü art arda kullanır. Ağırlık üretmez, dışarıdan alır. Yöntemi Keshavarz Ghorabaee, Zavadskas, Turskis ve Antucheviciene 2016'da önermiştir. Tedarikçi seçimi, pazar segmenti değerlendirmesi ve üretim planlaması gibi alanlarda uygulanmıştır.
Yöntemin Felsefesi
CODAS'ın arkasındaki fikir şudur: seçeneklerin en kötü mümkün seçenekten ne kadar uzaklaştığına bakmak. Ama yöntem bunu tek bir uzaklık ölçüsüyle değil, iki farklı uzaklık ölçüsüyle sınar. Yöntem önce düz çizgi, yani Öklid uzaklığını hesaplar; bu, TOPSIS'in de kullandığı klasik geometrik uzaklıktır. İki seçeneğin Öklid uzaklığı birbirine çok yakın çıkabilir; bu, aradaki farkın belirlenen bir eşik değerinden daha az olduğu anlamına gelir. Bu durumda ikisini ayırmak için ikinci bir ölçü devreye girer. Bu ölçü Taksi uzaklığıdır, yani yatay ve dikey farkların toplamıdır.
TOPSIS'i CODAS'tan ayıran da budur. TOPSIS hem ideale hem anti-ideale bakar ve tek bir uzaklık türü kullanır. CODAS ise yalnız anti-ideale, yani negatif-ideale bakar. Ama iki farklı uzaklık türünü, biri diğerinin hakemi olacak biçimde, art arda kullanır.
Bu fikrin bir felsefi sonucu vardır. CODAS da telafi edicidir, ama birbirine çok yakın çıkan rakip seçenekleri ayırt etmek için ek bir mekanizma taşır. İki seçenek düz çizgide, yani Öklid'de, neredeyse aynı uzaklıktaysa, Taksi uzaklığı hangisinin kriterler arasında daha "dengesiz" bir profile sahip olduğunu ortaya çıkarır. Bunun nedeni şudur. Taksi uzaklığı her kriterdeki farkı ayrı ayrı toplar. Böylece büyük tek bir sapmayı, küçük ama çok sayıda sapmadan farklı biçimde cezalandırabilir.
Eşik değeri (τ), bu iki ölçü arasındaki geçişi belirleyen bir parametredir. Kullanıcı bu değeri veri ölçeğine göre ayarlamalıdır. DecisionMind, klasik CODAS'ta bu eşiği 0,02 olarak sabit tutar ve raporda bildirir.
Yöntem Nasıl Çalışır?
Yöntem altı adımda ilerler.
Birinci adım, doğrusal normalizasyon. Yöntem fayda kriterinde her hücreyi sütunun en büyük değerine böler; maliyet kriterinde sütunun en küçük değerini her hücreye böler. Sonuçta her sütun birimsiz hâle gelir.
İkinci adım, ağırlıklama. Yöntem normalize edilmiş her sütunu kriterin ağırlığıyla çarpar.
Üçüncü adım, negatif-ideal nokta. Yöntem ağırlıklı tabloda her kriterin en kötü, yani en küçük, değerinden hayali bir "en kötü seçenek" kurar. CODAS yalnız bu tek referansı kullanır. TOPSIS'teki gibi ayrıca bir "en iyi", yani ideal, referans kurmaz.
Dördüncü adım, iki uzaklık. Yöntem her gerçek seçeneğin bu negatif-ideale olan düz çizgi (Öklid) uzaklığını ve yatay+dikey (Taksi) uzaklığını hesaplar. Her seçenek bu iki uzaklık değerini taşır.
Beşinci adım, ikili karşılaştırma. Yöntem seçenekleri birbirleriyle ikişer ikişer karşılaştırır. Önce Öklid uzaklıkları arasındaki farka bakar. Bu fark belirlenen bir eşik değerinden büyükse, karşılaştırma doğrudan bu farka göre sonuçlanır. Fark eşikten küçükse, yani iki seçenek düz çizgide pratikte eşit sayılırsa, Taksi uzaklıkları arasındaki fark devreye girer ve karşılaştırmayı o belirler.
Altıncı adım, değerlendirme puanı. Yöntem her seçeneğin diğer tüm seçeneklerle yaptığı ikili karşılaştırma sonuçlarını toplar; bu toplam pozitif ya da negatif olabilir. Seçenekler bu puana göre büyükten küçüğe sıralanır.
Adımların formülleri, ara tabloları ve atıf biçimleri DecisionMind'daki yöntem sayfasında verilir; bu kart formül taşımaz.
Çıktı Nasıl Yorumlanır?
Değerlendirme puanı, bir seçeneğin bu kümedeki diğer seçeneklere göre negatif-ideale kıyasla ne kadar iyi konumlandığını söyler. Başka bir şey söylemez. Puanın negatif çıkması "kötü" ya da "başarısız" anlamına gelmez. Bu puan yalnız o seçeneğin ikili karşılaştırmalarda diğerlerinin gerisinde kaldığını gösterir. Puanlar sıfır etrafında göreli bir ölçektir, mutlak bir kalite ölçüsü değildir. 0,39 puanı "yüzde 39 iyi" anlamına gelmez. Bu puan başka bir analizden gelen bir CODAS puanıyla karşılaştırılamaz. Bunun nedeni şudur. Negatif-ideal her analizde o analizin kendi seçeneklerinden kurulur.
İki seçenek arasındaki puan farkı küçükse, bu farkın nereden geldiği raporda ayrıca belirtilmelidir. Fark Öklid uzaklığından mı, yoksa eşiğin devreye soktuğu Taksi uzaklığından mı geliyor, bu netleştirilmelidir. Eşik değeri (τ) değiştirildiğinde bu küçük farkların yönü değişebilir.
Bu nedenle:
"CODAS en iyi seçeneği kesin olarak buldu"
yerine:
"Bu ağırlıklar, bu eşik değeri ve bu seçenek kümesiyle en kötü referanstan en çok uzaklaşan seçenek budur; sıra şu kriterlerin ağırlığına ve eşik değerine duyarlıdır"
biçiminde yazmak doğrudur.
Veri Türü ve Girdiler
Klasik CODAS kesin, yani crisp, veriyle çalışır. Her hücrede tek bir sayı bulunur. Veriniz uzman yargısıyla belirsizse, aralıklıysa ya da uzmanlar arasında çelişkiliyse, değiştirmeniz gereken şey yöntem değil veri türüdür. CODAS'ın bulanık, gri, sezgisel ve başka türlerde uzantıları vardır. DecisionMind'da temel yöntemle birlikte on sekiz CODAS üyesi bulunur.
Elinizde şunlar olmalı: satırlarda seçenekler, sütunlarda kriterler, her hücrede bir sayı ve boş hücre yok; her kriter için "çoğu mu iyi, azı mı iyi" bilgisi; toplamı 1 olan kriter ağırlıkları; ve bir eşik değeri (τ). CODAS ağırlık üretmez, ister. Eşik değeri veri ölçeğine göre ayarlanmalıdır. Çok küçük bir eşik, Taksi uzaklığını neredeyse her karşılaştırmada devreye sokar. Çok büyük bir eşik ise Taksi uzaklığını hiç kullandırmaz; CODAS bu durumda pratikte yalnız Öklid uzaklığına indirgenir. En az iki seçenek ve iki kriter gerekir; üç ile on iki kriter arası rahat çalışır.
Ne Zaman Kullanılır, Ne Zaman Kullanılmaz?
Kriterleriniz sayıyla ölçülebiliyorsa, tablo tam doluysa ve seçenekleriniz arasında düz çizgi uzaklığıyla ayırt edilemeyecek kadar yakın rakipler bulunma ihtimali varsa, CODAS uygun bir seçimdir. Bu durumda ikinci bir uzaklık ölçüsü ayırt ediciliği artırır. Tipik alanları tedarikçi ve pazar segmenti değerlendirmesi, üretim süreci ve teknoloji seçimidir.
Kullanılmaması gereken durum yöntemin felsefesinden gelir. Bir kriterde taviz kabul etmiyorsanız CODAS bunu engellemez, çünkü telafi edicidir. Eşik değerini (τ) nasıl belirleyeceğinize dair bir gerekçeniz yoksa ve veri ölçeğiniz alışılmadıksa, örneğin çok küçük ya da çok büyük sayılardan oluşuyorsa, varsayılan eşiğin sonucu nasıl etkilediğini önce sınamadan CODAS'a güvenmeyin. Kriterler birbirine güçlü biçimde bağlıysa, bu bağ önce ele alınmalıdır.
Sayısal tablo, yakın rakiplerin ayrımı için ikinci bir uzaklık ölçüsü isteniyor → CODAS
Aynı amaç, veri bulanık / gri / sezgisel → CODAS'ın ilgili uzantısı
Hem ideale hem anti-ideale tek bir uzaklık türüyle bakmak yeterliyse → TOPSIS
Bir kriterde taviz yok, eşik altı elenmeli → Önce eleme, sonra sıralama; ya da eleme yöntemleri
Sıralama değil ağırlık gerekiyor → AHP, BWM, SWARA (öznel) · Entropy, CRITIC (nesnel)
Güçlü Yanları
CODAS'ın en önemli üstünlüğü, birbirine çok yakın çıkan seçenekleri ayırt etmek için ikinci bir uzaklık ölçüsü taşımasıdır. Bu, yalnız Öklid uzaklığına dayanan yöntemlerde görünmeyen bir ayrım gücü sağlar. İki farklı uzaklık türünün birlikte kullanılması, seçeneklerin kriterler arası dengesini dolaylı biçimde hesaba katar. Bu denge, seçeneğin kriterler arasında dağınık mı yoksa tek bir kriterde mi aşırı sapmalı olduğunu gösterir. Hesap yükü küçüktür ve yöntem tedarikçi seçimi ile pazar segmenti değerlendirmesi gibi alanlarda uygulanmıştır (Keshavarz Ghorabaee ve ark., 2016; Keshavarz Ghorabaee ve ark., 2017).
Zayıf Yanları
Sınırlılıkları aynı yapıdan doğar. Birincisi, yöntem tam telafiyi varsayar. Bu yüzden bir kriterdeki zayıflık başka kriterlerdeki güçle örtülebilir. İkincisi, CODAS da diğer uzaklık tabanlı sıralama yöntemleri gibi sıra tersinmesine açıktır. Negatif-ideal nokta seçeneklerin kendisinden kurulduğu için, kümeye eklenen ya da çıkarılan bir seçenek bu referansı kaydırır (Aires ve Ferreira, 2018). Üçüncüsü, eşik değeri (τ) yöntemin dışından, kullanıcı tarafından belirlenen bir parametredir. Bu değerin nasıl seçildiği gerekçelendirilmezse, sonuç keyfi görünebilir. Dördüncüsü, yöntem kriterlerin birbirinden bağımsız olduğunu varsayar. Beşincisi, ağırlıkların kalitesi yöntemin dışında kalır.
Sık Yapılan Hatalar
En yaygın hata kriter yönünü yanlış işaretlemektir. Bu hata negatif-ideal noktayı yanlış kurar ve sıra tersine döner. İkinci hata, değerlendirme puanı negatif çıktığında bunu "başarısız seçenek" diye yorumlamaktır. Oysa bu puan yalnız seçeneğin bu kümedeki göreli konumunu gösterir. Üçüncü hata, eşik değerini (τ) hiç sorgulamadan varsayılan bırakmaktır. Bu durumda kullanıcı iki yakın seçenek arasındaki sıranın bu eşiğe duyarlı olup olmadığını hiç sınamaz. Dördüncü hata, analiz bittikten sonra seçenek eklemektir; bu ekleme negatif-ideali, dolayısıyla tüm puanları değiştirir, ama kullanıcı bunu çoğu zaman fark etmez. Beşinci hata, bir kriterde asla taviz verilemeyecek bir durumda telafi edici bir yöntem seçmektir.
Temel ilke şudur:
CODAS sonucu, seçeneklerin bu kümenin kendi negatif-ideal noktasına göre iki farklı uzaklık ölçüsüyle sınanmış göreli konumunun bir özetidir. Eşik değeri ve seçenek kümesi değiştikçe bu konum değişir; rapor bunu göstermelidir.
Vakalar
Her vaka bir karar tablosuyla başlar, yöntemin bu tabloya ne yaptığını kelimeyle anlatır ve sonucun nasıl okunacağını gösterir. Birinci vaka DecisionMind'ın doğrulama örneğidir; sayılar manifestten alınmıştır ve motor aynı sonucu üretir. Diğer vakalar öğretici kurgudur.
1. Öğretici örnek: Üç seçenek, üç ölçüt (DecisionMind doğrulama örneği)
Bu örnek bir literatür vakası değildir; CODAS motorunun adımlarını elle izlenebilir kılmak için kurulmuş küçük bir tablodur. Üç seçenek üç ölçütte değerlendirilmiştir; ilk iki ölçüt "çoğu iyi", üçüncüsü "azı iyi" (maliyet) türündendir. Eşik değeri τ=0,02 olarak alınmıştır.
| Seçenek | K1 | K2 | K3 (maliyet) |
|---|---|---|---|
| A1 | 3 | 5 | 4 |
| A2 | 5 | 3 | 2 |
| A3 | 4 | 4 | 3 |
| Yön | çoğu iyi | çoğu iyi | azı iyi |
| Ağırlık | 0,40 | 0,35 | 0,25 |
Yöntem önce her sütunu doğrusal olarak normalize eder. K1 ve K2'de her hücre sütunun en büyük değerine bölünür; K3'te ise sütunun en küçük değeri her hücreye bölünür. Sonra yöntem normalize edilmiş sütunları ağırlıklarla çarpar. Ağırlıklı tablodaki en kötü değerlerden negatif-ideal noktayı kurar ve her seçeneğin bu noktaya olan düz çizgi (Öklid) ve yatay+dikey (Taksi) uzaklığını hesaplar. Son olarak seçenekleri ikişer ikişer karşılaştırır. Öklid farkı eşiği aşıyorsa karşılaştırma doğrudan bu farka göre sonuçlanır; aşmıyorsa Taksi farkı devreye girer. Yöntem bu karşılaştırmaları bir değerlendirme puanında toplar.
| Seçenek | Değerlendirme puanı | Sıra |
|---|---|---|
| A2 | 0,3902 | 1 |
| A3 | -0,1564 | 2 |
| A1 | -0,2339 | 3 |
Sonuç şöyle okunur. A2, K1'de en yüksek değere (5) ve K3'te, yani maliyette, en düşük değere (2) sahiptir. Bu iki ölçütte negatif-idealden en uzak seçenek A2'dir. En ağırlıklı iki ölçüt de (K1 0,40, K3 0,25; toplamı 0,65) burada A2'nin lehinedir. Bu yüzden A2, K2'deki (3, en düşük) zayıflığını fazlasıyla telafi eder. A3 ile A1 arasındaki Öklid uzaklığı, eşiğin (0,02) üstünde bir farkla ayrılmıştır. Bu yüzden burada Taksi uzaklığı devreye girmemiştir. A3, üç ölçütte de orta değerlerle A1'in önündedir.
Kararın tereddüdü: K2'nin ağırlığı 0,35'ten 0,49'a çıkarılıp K1'in ağırlığı 0,40'tan 0,26'ya indirilirse (K3 0,25 sabit kalır), A1 öne geçer. Aynı hesap bu kez A1'i 0,0822 ile birinci, A2'yi 0,0810 ile ikinci sıraya taşır. Aradaki fark yalnızca 0,0012'dir. Bu ağırlık dağılımında A1 ile A2 arasındaki sıra, seçilen eşik değerine (τ=0,02) son derece duyarlı hâle gelir. Eşik biraz büyütülse ya da küçültülse bu iki seçenek arasındaki karşılaştırma Taksi uzaklığına kayabilir ve sıra tekrar değişebilir.
Raporda: "Verilen ağırlıklarla (K1=0,40, K2=0,35, K3=0,25) ve τ=0,02 eşiğiyle A2 en yüksek değerlendirme puanına (0,3902) sahiptir; K2'nin ağırlığı K1'in önüne geçecek ölçüde artırılırsa (K2=0,49, K1=0,26) A1 öne geçer, ancak A1 ile A2 arasındaki fark bu senaryoda yalnızca 0,0012'dir ve seçilen eşik değerine duyarlıdır."
Kaynak: DecisionMind CODAS manifesti, doğrulama örneği; adımlar Keshavarz Ghorabaee ve ark. (2016) tanımına göredir. Ağırlık değişikliği senaryosunun sayıları bu kartın yazarınca aynı algoritmayla bağımsız olarak yeniden hesaplanmıştır.
2. Medya: Bir yayın platformunun içerik lisanslama ortağı seçimi
Bir dijital yayın platformu, yeni bir içerik kütüphanesi için üç lisans sağlayıcısından biriyle anlaşacaktır. Dört ölçüt: lisans bedeli, sunulan içerik saati, izleyici beğeni puanı (pilot testlerden) ve sözleşme süresi esnekliği puanı. İçerik saati, beğeni puanı ve esneklik puanı "çoğu iyi", lisans bedeli "azı iyi"dir. Platform, ağırlıkları izleyici beğeni puanına en yüksek payı verecek biçimde belirlemiştir, çünkü abone tutundurma stratejik önceliktir. Eşik değeri τ=0,03 olarak belirlenmiştir.
Yöntem üç sağlayıcının normalize edilmiş tablosundan negatif-ideal noktayı kurar. Her sağlayıcının bu noktaya iki uzaklığını hesaplar ve ikili karşılaştırmalarla bir değerlendirme puanı üretir. Diyelim ki en yüksek beğeni puanına sahip sağlayıcı aynı zamanda en yüksek lisans bedeline sahiptir. Yine de bu sağlayıcı birinci sırada çıkar, çünkü beğeni puanının ağırlığı bedelin ağırlığından fazladır. İkinci ve üçüncü sağlayıcının Öklid uzaklıkları birbirine çok yakın çıkmıştır. Bu yüzden aralarındaki sıra Taksi uzaklığıyla belirlenmiştir.
Platformun tereddüdü: en pahalı sağlayıcının seçilmesi içerik bütçesini zorlayabilir. Yönetim bu maliyeti izleyici beğenisi gerekçesiyle savunmak durumundadır. Ayrıca ikinci ve üçüncü sağlayıcı arasındaki sıranın Taksi uzaklığından geldiği raporda ayrıca belirtilmelidir. Eşik değeri değiştirilirse bu iki sağlayıcı yer değiştirebilir.
Raporda: "İzleyici beğeni puanına verilen yüksek ağırlıkla en beğenilen sağlayıcı en yüksek değerlendirme puanına ulaşmaktadır; ikinci ve üçüncü sağlayıcı arasındaki sıra eşik değerine (τ=0,03) duyarlıdır ve bu eşik ayrıca gerekçelendirilmelidir."
3. Su Yönetimi: Bir belediyenin içme suyu arıtma teknolojisi seçimi
Bir belediye su ve kanalizasyon idaresi, yeni bir arıtma tesisinde kullanılacak üç teknoloji arasında seçim yapacaktır. Dört ölçüt: kurulum maliyeti, yıllık işletme (enerji ve kimyasal) maliyeti, arıtma verimliliği yüzdesi ve bakım sıklığı (yılda gereken müdahale sayısı). Arıtma verimliliği "çoğu iyi", kurulum maliyeti, işletme maliyeti ve bakım sıklığı "azı iyi"dir. İdare, ağırlıkları arıtma verimliliğine en yüksek payı verecek biçimde belirlemiştir, çünkü su kalitesi standardı yasal bir zorunluluktur. Eşik değeri τ=0,02 olarak belirlenmiştir.
Yöntem üç teknolojinin normalize edilmiş tablosundan negatif-ideal noktayı kurar ve iki uzaklık türüyle karşılaştırır. Diyelim ki en yüksek arıtma verimliliğine sahip teknoloji aynı zamanda en yüksek kurulum maliyetine sahiptir. Yine de bu teknoloji birinci sırada çıkar, çünkü verimlilik ağırlığı kurulum maliyetinin ağırlığından fazladır.
İdarenin tereddüdü: en pahalı teknolojinin seçilmesi yatırım bütçesini zorlayabilir. Ayrıca bakım sıklığı yüksek bir teknoloji seçilirse uzun vadeli işletme yükü artabilir. Bu yük, CODAS puanının içinde yalnız düşük ağırlıklı bir bileşen olarak görünür. İdare, yasal verimlilik eşiğinin altındaki teknolojileri CODAS'a sokmadan önce elemelidir. Kalan teknolojileri bu yöntemle sıralamalıdır.
Raporda: "Arıtma verimliliğine verilen yüksek ağırlıkla en verimli teknoloji en yüksek değerlendirme puanına ulaşmaktadır; yasal verimlilik eşiğinin altındaki teknolojiler analiz dışında bırakılmıştır ve bakım yükü ayrı bir işletme riski olarak izlenmelidir."
4. Yapılmaması Gereken
Aynı öğretici tabloda K3, yani maliyet, "çoğu iyi" işaretlenseydi, negatif-ideal nokta yanlış kriterden kurulurdu. A2'nin düşük maliyetten kazandığı avantaj bu durumda tersine döner ve sıra anlamsızlaşır. İkinci yanlış, platformun ya da idarenin analiz bittikten sonra dördüncü bir seçenek eklemesidir. Bu ekleme negatif-ideal noktayı, dolayısıyla tüm değerlendirme puanlarını değiştirir. Üçüncü yanlış, eşik değerini (τ) hiç sorgulamadan varsayılan bırakmaktır. Bu durumda kullanıcı iki yakın seçenek arasındaki sıranın bu eşiğe ne kadar duyarlı olduğunu hiç sınamaz. Öğretici örnekte A1 ile A2 arasındaki 0,0012'lik fark, tam olarak bu duyarlılığı gösterir.
Uzantılar: farklı veri türleri için
CODAS yönteminin kütüphanede 17 uzantısı var. Aynı karar mantığı, farklı veri türü: veriniz kesin sayı değilse ilgili veri türü kartını okuyun, sonra o türdeki üyeyi açın.
Bulanık (Fuzzy)5
- FF-CODAS - Fermatean extension of FF-CODASAkademi kartı →
- Fuzzy CODAS - Fuzzy extension of CODASAkademi kartı →
- TIF-CODAS - Triangular Intuitionistic Fuzzy Group CODAS (TIFN-CODAS)Akademi kartı →
- IVAIF-CODAS - Interval-Valued Atanassov Intuitionistic Fuzzy CODASAkademi kartı →
- TIFN-CODAS - Triangular Intuitionistic Fuzzy Number CODAS (Daami Remadi & Frikha 2023)Akademi kartı →
Kaynaklar
Adımların formülleri, ara tabloları ve atıf biçimleri (BibTeX, RIS, APA) için DecisionMind yöntem sayfası: decisionmind.app/library/codas
Keshavarz Ghorabaee, M., Zavadskas, E. K., Turskis, Z., & Antucheviciene, J. (2016). A new combinative distance-based assessment (CODAS) method for multi-criteria decision-making. Economic Computation and Economic Cybernetics Studies and Research, 50(3), 25–44. (DOI yok. Bu makale Crossref'te kayıtlı değildir; manifestteki 10.2139/ssrn.3177276 farklı bir makaleye [Badi, Shetwan ve Abdulshahed, 2018, "Supplier Selection Using CODAS"] çözülmektedir ve seminal atıf için kullanılmamıştır, bkz. onay notları.)
Keshavarz Ghorabaee, M., Amiri, M., Zavadskas, E. K., Hooshmand, R., & Antucheviciene, J. (2017). Fuzzy extension of the CODAS method for multi-criteria market segment evaluation. Journal of Business Economics and Management, 18(1), 1–19. DOI: 10.3846/16111699.2016.1278559
Aires, R. F. de F., & Ferreira, L. (2018). The rank reversal problem in multi-criteria decision making: A literature review. Pesquisa Operacional, 38(2), 331–362. DOI: 10.1590/0101-7438.2018.038.02.0331
Zavadskas, E. K., & Turskis, Z. (2011). Multiple criteria decision making (MCDM) methods in economics: An overview. Technological and Economic Development of Economy, 17(2), 397–427. DOI: 10.3846/20294913.2011.593291