Eliciting opinions of experts using uncertainty

Abstract

Multiple criteria decision-making (MCDM) methods designed for evaluation of attractiveness of available alternatives, whenever used in decision-aid systems, imply active participation of experts. They participate in all stages of evaluation: casting a set of criteria, which should describe an evaluated process or an alternative; estimating level of importance of each criterion; estimating values of some criteria and subcriteria. Social and economic processes are prone to laws of statistics, which are described and could be forecasted using the theory of probability. Weights of criteria, which reveal levels of their importance, could rarely be estimated with the absolute level of precision. Uncertainty of evaluation is characterised by a probability distribution. Aiming to elicit evaluation from experts we have to find either a distribution or a density function. Statistical simulation method can be used for estimation of evaluation of weights and/or values of criteria by experts. Alternatively, character of related uncertainty can be estimated by an expert himself during the survey process. The aim of this paper is to describe algorithms of expert evaluation with estimation of opinion uncertainty, which were applied in practice. In particular, a new algorithm was proposed, where an expert evaluates criteria by probability distributions.

Sprendimo priėmimo sistemose, kuriose taikomi daugiakrit eriai MCDM (angl. Multiple Criteria Decision Making) metodai, visuose vertinimo etapuose akty viai dalyvauja ekspertai: charakterizuojančių nagrinėjamą procesą kriterijų sistemos formavime, kiekvieno kriterijaus įtakos nagrinėjimam procesui kiekybiniame vertinime (kriterijų svorių nustatyme), įvertina atskirų kriterijų ir jų komponentų reikšmes. Socialiniai bei ekonominiai procesai turi stochastinę prigimtį, todėl jų aprašymui ir prognozavimui labiausiai tinka tikimybiniai metodai. Kai kriterijų reikšmių negalima įvertinti vienareikšmiškai, ekspertų vertinimo pagrindu konstruojamos tankio funkcijos arba taikoma neraiškiųjų skaičių teoriją. Vertinimų neapibrėžtumą tinkamai charakterizuoja tikimybinis skirstinys, todėl gali būti taikomos ekspertų vertinimų pasiskirstymo arba tankio funkcijos. Ekspertų vertinimo ir kriterijų reikšmių neapibrėžtumo įtakai vertinti gali būti taikomas statistinis imitavimas. Tačiau straipsnyje siūlomas alternatyvus būdas, kai nuomonių neapibrėžtumas vertinimas ekspertų apklausos procese. Darbo tikslas yra pasiūlyti skirtingus, taikytinus praktikoje, ekspertų vertinimų algoritmus, kuriuose atsižvelgiama į nuomonių neapibrėžtumą. Pasiūlytas naujas algoritmas, kai kiekvienas ekspertas vertina kriterijų svarbą, taikydamas tam tikrą tikimybinį skirstinį.