Yöntemler · Üstünlük
PROMETHEE (Preference Ranking Organisation Method for Enrichment of Evaluations)
PROMETHEE, seçenekleri hayali bir ideale göre değil birbirlerine göre karşılaştıran bir üstünlük (outranking) yöntemleri ailesidir. Her kriterde "ne kadar daha iyi" sorusunu bir tercih fonksiyonuyla derecelendirerek seçenekleri ikişer ikişer kıyaslar. Bu karşılaştırmaları giren ve çıkan akışlarda toplayıp kısmi ya da tam bir sıra çıkarır.
Temel yöntemin veri türü: Kesin (Classical)
Yöntem Nedir?
PROMETHEE, elinizde bir karar tablosu olduğunda seçenekleri birbirine karşı ikili biçimde tartan bir üstünlük yöntemidir. TOPSIS ya da VIKOR gibi hayali bir ideal seçenek kurmaz, doğrudan gerçek seçenekleri birbiriyle kıyaslar. Ailenin ortak çıktısı her seçenek için üç şeydir: diğerlerini ne kadar geride bıraktığını gösteren bir giren akış, kendisinin ne kadar geride kaldığını gösteren bir çıkan akış, ve bu ikisinin farkından oluşan net akış. Yöntemi Brans ve Vincke 1985'te önermiştir. Aynı ekip 1986'da yöntemi iki sıralama biçimine ayırmıştır: yalnız kısmi bir üstünlük ilişkisi veren PROMETHEE I, ve net akış üzerinden tam bir sıra çıkaran PROMETHEE II. DecisionMind'daki bu temel PROMETHEE girişi net akış mantığıyla çalışır ve tam sıralama üretir; ağırlık üretmez, ağırlıkları dışarıdan alır. Çok kriterli karar literatüründe en çok atıf alan üstünlük ailelerinden biridir; tedarikçi seçimi, proje ve yatırım sıralaması, çevresel değerlendirme ve enerji planlaması gibi çok paydaşlı alanlarda yaygın uygulanır.
Yöntemin Felsefesi
PROMETHEE ailesinin çıkış noktası, "iyi seçenek" tanımını hayali bir referans noktasından değil gerçek rakiplerden türetmektir. Yöntem her seçenek çiftini ele alır ve her kriterdeki farkı ham haliyle değil bir tercih fonksiyonundan geçirerek kullanır. Tercih fonksiyonu, "bu kadarlık bir fark gerçekten bir tercih midir yoksa ölçüm gürültüsü müdür" sorusuna kriter bazında cevap verir. En yalın biçimde en küçük fark bile tam tercih sayılır. Eşikli biçimlerde belirli bir farkın altı kayıtsızlık, üstü tam tercih sayılır ve arası doğrusal artar. Bu süzülmüş tercihler kriter ağırlıklarıyla birleştirilip her çift için "a, b'ye ne kadar tercih ediliyor" diye tek bir sayı çıkar. Sonra her seçeneğin diğerlerine üstünlüğü toplanır; buna giren akış denir. Diğerlerine geriliği de ayrı toplanır; buna çıkan akış denir.
Ailenin felsefi ayrımı tam burada başlar. Giren ve çıkan akış her zaman aynı sırayı göstermez. Bir seçenek çoğu rakibini geride bırakabilir, yani yüksek giren akışa sahip olabilir, ve aynı anda birkaç rakip tarafından da geride bırakılabilir, yani yüksek çıkan akışa da sahip olabilir. PROMETHEE I bu iki akışı ayrı tutar ve yalnız ikisi de aynı yönü gösteren çiftleri karşılaştırır. İkisi çelişiyorsa o çift "karşılaştırılamaz" sayılır ve sırada birbirine göre konumlandırılmaz. Bu, dürüst ama eksik bir sonuçtur: yöntem elindeki bilgiyle güvenle sıralayamadığı yerde susar. PROMETHEE II ise bu ikilemi çözmek için giren ve çıkan akışı tek bir net akışta birleştirir. Her çift karşılaştırılabilir hâle gelir, karşılığında "karşılaştırılamaz" seçeneği ortadan kalkar. DecisionMind'ın bu temel PROMETHEE girişi net akış mantığıyla çalışır ve daima tam bir sıra üretir. Bu, sonucun kısmi üstünlük değil tam sıralama olduğu, dolayısıyla PROMETHEE II ile aynı hesap mantığını paylaştığı anlamına gelir.
Yöntem Nasıl Çalışır?
Yöntem beş adımda ilerler.
Birinci adım, tercih fonksiyonu seçimi. Her kriter için bir tercih fonksiyonu ve varsa eşik değerleri (kayıtsızlık eşiği q, tercih eşiği p) belirlenir. Bu seçim kriterin ölçüm kesinliğine göre yapılır. Keskin ölçülen bir kriterde, örneğin fiyatta, en yalın fonksiyon her farkı sayabilir. Öznel ya da gürültülü bir puanlamada ise eşikli bir fonksiyon küçük farkları anlamsız sayabilir. Belirtilmezse DecisionMind en yalın (mutlak) fonksiyonu varsayar.
İkinci adım, ikili tercih derecesi. Her kriterde her seçenek çiftinin farkı hesaplanır; "çoğu iyi" kriterde a'nınkinden b'ninki çıkarılır, "azı iyi" kriterde tersi yapılır. Bu fark, seçilen tercih fonksiyonuyla 0 ile 1 arasında bir dereceye çevrilir.
Üçüncü adım, genel tercih indeksi. Her kriterdeki tercih derecesi kriterin ağırlığıyla çarpılıp toplanır; her çift için tek bir "a, b'ye ne kadar tercih ediliyor" sayısı elde edilir.
Dördüncü adım, giren ve çıkan akış. Bir seçeneğin diğer bütün seçeneklere karşı ortalama tercih derecesi onun giren akışını verir. Diğer seçeneklerin ona karşı ortalama tercih derecesi ise çıkan akışını verir.
Beşinci adım, net akış ve sıra. Net akış, giren akıştan çıkan akışın çıkarılmasıdır. DecisionMind bu temel PROMETHEE girişinde seçenekleri net akışa göre büyükten küçüğe sıralar; bu, PROMETHEE II'nin tam sıralama mantığıdır. PROMETHEE I'in kısmi üstünlük ilişkisi isteniyorsa giren ve çıkan akışın ayrı ayrı sıraları karşılaştırılır ve çelişen çiftler karşılaştırılamaz bırakılır. Bu ayrı bir okuma biçimidir; bu kartın anlattığı hesap adımı değildir.
Adımların formülleri, ara tabloları ve atıf biçimleri DecisionMind'daki yöntem sayfasında verilir; bu kart formül taşımaz.
Çıktı Nasıl Yorumlanır?
Net akış, −1 ile +1 arasında bir değerdir; büyük değer daha iyidir. Net akış tek başına değil, giren ve çıkan akışla birlikte okunmalıdır. Yüksek giren akış seçeneğin çoğu rakibi geride bıraktığını gösterir; düşük çıkan akış ise az rakip tarafından geride bırakıldığını gösterir. Bir seçeneğin öne çıkması "çok kazanmasından" mı yoksa "az kaybetmesinden" mi geldiği raporda ayrı belirtilmelidir. Net akış, PROMETHEE I'in kısmi üstünlük ilişkisiyle aynı şey değildir: net akışta her seçenek bir yere yerleşir, PROMETHEE I'de bazı çiftler kasıtlı olarak sırasız bırakılabilir. Net akış, TOPSIS'in yakınlık puanı gibi başka bir yöntemin sonucuyla karşılaştırılamaz; yalnız bu seçenek kümesi ve bu tercih fonksiyonlarıyla anlamlıdır.
Bu nedenle:
"PROMETHEE'ye göre A2 en iyi seçenektir"
yerine:
"Seçilen tercih fonksiyonları ve ağırlıklarla A2, ikili karşılaştırmalarda net olarak en çok tercih edilen seçenektir (Φ = 0,33); bu sonuç tercih fonksiyonu tipine ve ağırlıklara duyarlıdır"
biçiminde yazmak doğrudur.
Veri Türü ve Girdiler
PROMETHEE kesin (crisp) veriyle çalışır; her hücrede tek bir sayı. Ölçüt ölçeği yalnız oran ve aralık değil sıralı (ordinal) da olabilir. Elinizde şunlar olmalı: satırlarda seçenekler, sütunlarda kriterler, her hücrede bir sayı; her kriter için yön bilgisi; toplamı 1 olan ağırlıklar; her kriter için bir tercih fonksiyonu tipi. Fonksiyon tipi belirtilmezse DecisionMind en yalın tipi varsayar. Eşikli fonksiyonlar için eşik değerleri de gerekir. Ağırlık üretmez, ister; AHP, BWM, CRITIC, Entropy gibi kaynaklardan alınabilir. DecisionMind'da bu ailede on sekiz üye bulunur; temel PROMETHEE ve PROMETHEE II ile birlikte çeşitli belirsizlik türü uzantıları da vardır. En az iki seçenek ve iki kriter gerekir; üç ile on beş seçenek, üç ile on iki kriter arası rahat çalışır. Otuzun üzerinde seçenekte ikili karşılaştırma sayısı karesel büyür ve hesap yükü fark edilir hale gelir.
Ne Zaman Kullanılır, Ne Zaman Kullanılmaz?
Kriterleriniz sayıyla ya da sıralı biçimde ölçülebiliyorsa, ikili karşılaştırma mantığı işinize yarıyorsa ve kriter bazında farklı "ne kadar fark önemlidir" eşiği tanımlamak istiyorsanız PROMETHEE uygun bir seçimdir. Tipik alanları tedarikçi seçimi, proje ve yatırım sıralaması, çevresel değerlendirme ve enerji planlamasıdır; çok paydaşlı, eşiklerin tartışmaya açık olduğu kararlarda özellikle tercih edilir.
Kullanılmaması gereken üç durum vardır. Birincisi, seçenek sayısı çok büyükse; elliyi aşan kümede ikili karşılaştırma maliyeti hızla artar. İkincisi, tam telafi edici basit bir toplulaştırma yeterliyse; bu durumda TOPSIS ya da WASPAS daha hafif bir araçtır. Üçüncüsü, kararın kesin bir tam sıra değil dürüst bir kısmi ilişki olması gerekiyorsa, yani hiçbir çiftin "karşılaştırılamaz" bırakılmaması şart değilse; bu durumda PROMETHEE I'in kısmi okuması ya da ELECTRE ailesi düşünülmelidir.
İkili karşılaştırma mantığı ve tam sıralama isteniyorsa → PROMETHEE
Bazı çiftlerin dürüstçe "karşılaştırılamaz" bırakılması kabulse → PROMETHEE I'in kısmi okuması
Elliyi aşan seçenek kümesinde hesap yükü önemliyse → daha hafif bir sıralama yöntemi (TOPSIS, SAW)
Sıra değil eleme ya da çekirdek küme gerekiyorsa → ELECTRE ailesi
Kesin veri değil bulanık/gri/sezgisel veri varsa → ailenin ilgili uzantısı
Güçlü Yanları
PROMETHEE ailesinin belirgin üstünlüğü, kriter bazında farklı tercih fonksiyonu seçme esnekliğidir; keskin ölçülen bir kriterle öznel bir puanlama aynı katılıkta değerlendirilmez. İkincisi, ideal ya da anti-ideal bir nokta kurgulamadan doğrudan seçenekler arasında çalışır; sonuç "gerçek rakiplere göre" okunur. Üçüncüsü, giren ve çıkan akışların ayrı tutulması bir seçeneğin öne çıkma nedenini, çok kazanma mı yoksa az kaybetme mi olduğunu, görünür kılar. Dördüncüsü, aile hem kısmi (PROMETHEE I) hem tam (PROMETHEE II) bir okuma sunduğu için karar vericinin "ne kadar kesin konuşabilirim" sorusuna iki farklı yanıt verebilir. Bu esneklik, ailenin literatürde en çok atıf alan ve en geniş uygulama tabanına sahip üstünlük yöntemlerinden biri olmasını açıklar (Behzadian, Kazemzadeh, Albadvi ve Aghdasi, 2010).
Zayıf Yanları
Sınırlılıkları da aynı esneklikten doğar. Birincisi, rank reversal bilinen bir sorundur: seçenek eklenip çıkarılınca sıra değişebilir (Mareschal, De Smet ve Nemery, 2008). İkincisi, tercih fonksiyonu ve eşik (p, q) seçimleri sonucu doğrudan etkiler. Bu seçimler veriden kendiliğinden çıkmaz, analistin ya da karar vericinin yargısını gerektirir ve gerekçelendirilmezse keyfi kalır. Üçüncüsü, hesap yükü seçenek sayısının karesiyle büyür; büyük kümede maliyetlidir. Dördüncüsü, temel PROMETHEE girişi net akışla tam sıra ürettiği için, PROMETHEE I'in sunabileceği "bu iki seçenek gerçekten karşılaştırılamaz" dürüstlüğünü kendiliğinden göstermez; kullanıcı bunu ayrıca sorgulamalıdır.
Sık Yapılan Hatalar
En yaygın hata, sürekli ölçekli bir kritere (fiyat, süre gibi) gerekçesiz biçimde en yalın (mutlak) tercih fonksiyonunu uygulayıp küçük ölçüm farklarını da tam tercih saymaktır. Bu, ölçüm gürültüsünü gerçek bir tercihmiş gibi işler. İkinci hata, net akışı tek başına raporlayıp giren ve çıkan akışları göstermemektir; bu, bir seçeneğin neden öne çıktığını gizler. Üçüncü hata, analiz bittikten sonra seçenek eklemek ve sıranın (rank reversal) değişmesine şaşırmaktır; seçenek kümesi analizden önce sabitlenmelidir. Dördüncü hata, eşik değerlerini (p, q) hiç belirlemeden ya da danışılmadan atamaktır; bu değerler alan uzmanı görüşü gerektirir. Beşinci hata, net akışı yüzde ya da olasılık gibi okumaktır.
Temel ilke şudur:
Net akış, seçilen tercih fonksiyonlarının, eşiklerin ve ağırlıkların bir ürünüdür; bu seçimler değişince sıra da değişebilir ve rapor hangi fonksiyonların, hangi eşiklerin kullanıldığını açıkça söylemelidir.
Vakalar
Her vaka bir karar tablosuyla başlar, yöntemin bu tabloya ne yaptığını kelimeyle anlatır ve sonucun nasıl okunacağını gösterir. Birinci vaka öğretici bir doğrulama örneğidir; diğerleri öğretici kurgudur.
1. İK: Üç iş başvurusu adayı arasında işe alım değerlendirmesi (öğretici örnek)
Bir şirketin insan kaynakları birimi üç finalist aday arasında seçim yapacaktır. Üç ölçüt vardır: teknik yeterlilik puanı, iletişim becerisi puanı ve iş deneyimi puanı; üçü de "çoğu iyi"dir ve 1-5 aralığında bir mülakat kuruluyla puanlanmıştır. Birim üç ölçüte de eşit ağırlık (0,33'er) vermiş ve her ölçütte en yalın tercih fonksiyonunu kullanmıştır; bu fonksiyonda en küçük fark bile tam tercih sayılır.
| Aday | Teknik yeterlilik | İletişim | Deneyim |
|---|---|---|---|
| A1 | 4 | 3 | 2 |
| A2 | 2 | 5 | 4 |
| A3 | 3 | 4 | 3 |
| Yön | çoğu iyi | çoğu iyi | çoğu iyi |
| Ağırlık | 0,33 | 0,33 | 0,33 |
Yöntem her ikili karşılaştırmada, her ölçütte hangi adayın daha yüksek puanladığına bakar; en yalın tercih fonksiyonu nedeniyle en küçük fark bile tam tercih olarak sayılır. Bu tercihler eşit ağırlıklarla birleştirilip her adayın giren akışı (diğerlerini ne kadar geride bıraktığı) ve çıkan akışı (ne kadar geride kaldığı) hesaplanır.
| Aday | Φ⁺ (giren) | Φ⁻ (çıkan) | Φ (net akış) | Sıra |
|---|---|---|---|---|
| A2 | 0,667 | 0,333 | 0,333 | 1 |
| A3 | 0,500 | 0,500 | 0,000 | 2 |
| A1 | 0,333 | 0,667 | -0,333 | 3 |
Sonuç şöyle okunur. A2 teknik yeterlilikte en düşük puana sahiptir; buna rağmen birinci sıradadır. Bunun nedeni, iletişim ve deneyimde en yüksek puanlı olmasıdır; eşit ağırlıklı yapı bu iki ölçütteki üstünlüğü teknik yeterlilikteki zayıflığından fazla sayar. A3 ikinci sıradadır: hiçbir ölçütte en iyi değildir ama hiçbirinde de en kötü değildir. A1 üçüncü ve tek negatif net akışa sahiptir: teknik yeterlilikte en iyisidir ama iletişim ve deneyimde en kötüsüdür.
Birimin tereddüdü: teknik yeterliliğe daha yüksek ağırlık verilseydi sonuç değişir miydi? Ağırlıklar teknik yeterliliğe 0,70, iletişim ve deneyime 0,15'er olarak yeniden dağıtıldığında (bağımsız Python ile aynı algoritma koşturularak hesaplandı) net akışlar A1 için +0,40, A3 için 0,00, A2 için -0,40 çıkar ve sıra tamamen tersine döner. Bu, üç aday arasındaki farkın hangi ölçüte ne kadar ağırlık verildiğine son derece duyarlı olduğunu gösterir. Birim ağırlık dağılımını neden bu şekilde belirlediğini raporda savunmalıdır.
Raporda: "Ölçütlere eşit ağırlık verildiğinde A2, ikili karşılaştırmalarda net olarak en çok tercih edilen adaydır (Φ = 0,33). Ağırlık teknik yeterliliğe kaydırıldığında sıra tamamen tersine döner; bu nedenle ağırlık dağılımı işe alım komitesince ayrıca onaylanmalıdır."
Kaynak: Bu vaka, DecisionMind'ın PROMETHEE motorunun doğrulama örneğidir. Matris, ağırlıklar ve beklenen net akış değerleri (manifestte A1/A2/A3 ve C1/C2/C3 olarak kayıtlı) elle hesaplanabilir küçük bir örnek olarak üretilmiştir; Brans, Vincke ve Mareschal'ın (1986) makalesindeki bir tablo değildir. Ağırlık değişikliği senaryosunun sayıları bu kartın yazarınca aynı algoritmayla bağımsız olarak yeniden hesaplanmıştır.
2. Spor: Bir spor kulübünün yeni antrenör adayı seçimi
Bir profesyonel spor kulübünün yönetim kurulu üç antrenör adayı arasında seçim yapacaktır. Üç ölçüt: geçmiş başarı puanı, oyuncu geliştirme referans puanı ve takımla uyum mülakat puanı; üçü de "çoğu iyi"dir. Kurul geçmiş başarıya en yüksek ağırlığı vermiş, diğer iki ölçüte daha az ağırlık ayırmıştır. Geçmiş başarı ölçülebilir olduğu için en yalın tercih fonksiyonu, mülakat puanı öznel olduğu için eşikli bir fonksiyon kullanılmıştır.
Yöntem üç adayı ikişer ikişer karşılaştırır, her ölçütte tercih derecesini hesaplar ve net akışları bulur. Diyelim ki geçmiş başarısı en yüksek aday aynı zamanda takım uyumu mülakatında en düşük puanı almıştır ve net akışta yine de birinci çıkar; çünkü geçmiş başarı ağırlığı diğer iki ölçütün toplamından fazladır. Oyuncu geliştirme puanı en yüksek aday ikinci, mülakatta en iyi olan aday üçüncü sırada kalır.
Kurulun tereddüdü: takımla uyum düşük çıkan bir antrenörün soyunma odasında sorun yaratma riski net akışın içinde görünmez, çünkü bu ölçütün ağırlığı düşüktür. Kurul bu ağırlığı yükseltip yeniden hesaplamadan karar vermemelidir. Ayrıca mülakat puanındaki eşikli tercih fonksiyonunun eşik değeri, yani hangi puan farkının "önemli" sayılacağı, sonucu değiştirebilir ve bu seçim raporda gerekçelendirilmelidir.
Raporda: "Geçmiş başarıya verilen yüksek ağırlıkla en başarılı aday net olarak öne çıkmaktadır; takım uyumu ağırlığı düşük tutulduğundan bu ölçütün payı sınırlıdır ve ağırlık artırılırsa sıra değişebilir."
3. Afet yönetimi: Bir il afet koordinasyon merkezinin geçici barınma alanı seçimi
Bir il afet ve acil durum koordinasyon merkezi, deprem sonrası geçici barınma için üç aday alan arasında seçim yapacaktır. Dört ölçüt: kapasite (barındırılabilecek kişi sayısı), şehir merkezine uzaklık, zemin sağlamlığı puanı ve altyapı (su-elektrik) erişim puanı. Kapasite, zemin sağlamlığı ve altyapı erişimi "çoğu iyi", uzaklık "azı iyi"dir. Merkez, zemin sağlamlığına en yüksek ağırlığı vermiş ve her ölçütte eşikli bir tercih fonksiyonu kullanmıştır.
Yöntem üç alanı karşılaştırır. Diyelim ki en yüksek kapasiteye sahip alan aynı zamanda şehir merkezine en uzak alandır ve net akışta yine de ikinci sırada kalır. Zemin sağlamlığı en yüksek olan alan ise kapasitesi orta olmasına rağmen birinci çıkar.
Merkezin tereddüdü: uzaklık ölçütünün eşiği, yani hangi kilometre farkının "önemli" sayılacağı, acil müdahale süresini doğrudan etkiler. Eşik küçük tutulursa uzak ama sağlam zeminli alanın üstünlüğü zayıflayabilir. Bu, eşik seçiminin kendisinin bir kriz yönetimi kararı olduğunu ve sonucu değiştirebileceğini gösterir.
Raporda: "Zemin sağlamlığına verilen ağırlıkla en sağlam zeminli alan net olarak öne çıkmaktadır; uzaklık eşiği değiştirildiğinde bu üstünlüğün acil müdahale süresi açısından ne kadar sağlam olduğu ayrıca sınanmalıdır."
4. Yapılmaması Gereken
Aynı aday tablosunda deneyim ölçütüne yanlışlıkla "azı iyi" işaretlense, en az deneyimli aday bu ölçütte avantajlı sayılır ve sonuç yön hatası nedeniyle anlamsızlaşır. İkinci yanlış, analiz bittikten sonra dördüncü bir aday eklemek ve sıranın (rank reversal) değişmesine şaşırmaktır; seçenek kümesi analizden önce sabitlenmelidir. Üçüncü yanlış, A2'nin 0,33 net akışını "yüzde 33 daha iyi" diye raporlamaktır; net akış yalnız bu üç adayı birbirine göre sıralar, bir yüzde ya da olasılık değildir.
Uzantılar: farklı veri türleri için
PROMETHEE yönteminin kütüphanede 17 uzantısı var. Aynı karar mantığı, farklı veri türü: veriniz kesin sayı değilse ilgili veri türü kartını okuyun, sonra o türdeki üyeyi açın.
Kesin (Classical)5
- PROMETHEE I - Preference Ranking Organisation METHod for Enrichment Evaluations I (partial ranking)Akademi kartı →
- PROMETHEE II - Preference Ranking Organisation Method for Enrichment of Evaluations II1985 ↗
- PROMETHEE III - Preference Ranking Organisation METHod for Enrichment Evaluations III (interval ranking)Akademi kartı →
- PROMETHEE V - PROMETHEE with Integer Programming ConstraintsAkademi kartı →
- PROMETHEE VI - Walking Weights SensitivityAkademi kartı →
Kaynaklar
Adımların formülleri, ara tabloları ve atıf biçimleri için DecisionMind yöntem sayfası: decisionmind.app/library/promethee
Brans, J. P., & Vincke, Ph. (1985). A preference ranking organisation method (The PROMETHEE method for multiple criteria decision-making). Management Science, 31(6), 647–656. DOI: 10.1287/mnsc.31.6.647
Brans, J. P., Vincke, P., & Mareschal, B. (1986). How to select and how to rank projects: The PROMETHEE method. European Journal of Operational Research, 24(2), 228–238. DOI: 10.1016/0377-2217(86)90044-5
Brans, J. P., & Mareschal, B. (2005). PROMETHEE methods. In Multiple Criteria Decision Analysis: State of the Art Surveys (International Series in Operations Research & Management Science, Vol. 78). Springer. DOI: 10.1007/0-387-23081-5_5
Mareschal, B., De Smet, Y., & Nemery, P. (2008). Rank reversal in the PROMETHEE II method: Some new results. 2008 IEEE International Conference on Industrial Engineering and Engineering Management, 959–963. DOI: 10.1109/ieem.2008.4738012
Behzadian, M., Kazemzadeh, R. B., Albadvi, A., & Aghdasi, M. (2010). PROMETHEE: A comprehensive literature review on methodologies and applications. European Journal of Operational Research, 200(1), 198–215. DOI: 10.1016/j.ejor.2009.01.021