ALTERNATIVE OF COEFFICIENT OF CONCORDANCE
Authors:
1.
Astrakhan Technical State University
2.
Astrakhan Technical State University
(Senior Lecturer of the Department of Information Security)
Russian Federation
Russian Federation
Type:
Article
Pages:
from 158
to 167
Status:
Published
Received:
05.04.2013
Accepted:
25.04.2013
Published:
25.04.2013
Subject area:
VAC 05.12.2013 Системы, сети и устройства телекоммуникаций
VAC 05.13.01 Системный анализ, управление и обработка информации (по отраслям)
VAC 05.13.06 Автоматизация и управление технологическими процессами и производствами (по отраслям)
VAC 05.13.10 Управление в социальных и экономических системах
VAC 05.13.18 Математическое моделирование, численные методы и комплексы программ
VAC 05.13.19 Методы и системы защиты информации, информационная безопасность
UDK [614.23:616.71]:519.8
GRNTI 20.01 Общие вопросы информатики
GRNTI 28.01 Общие вопросы кибернетики
GRNTI 49.01 Общие вопросы связи
GRNTI 50.01 Общие вопросы автоматики и вычислительной техники
GRNTI 82.01 Общие вопросы организации и управления
BBK 56.138.7-4:22.181
VAC 05.13.01 Системный анализ, управление и обработка информации (по отраслям)
VAC 05.13.06 Автоматизация и управление технологическими процессами и производствами (по отраслям)
VAC 05.13.10 Управление в социальных и экономических системах
VAC 05.13.18 Математическое моделирование, численные методы и комплексы программ
VAC 05.13.19 Методы и системы защиты информации, информационная безопасность
UDK [614.23:616.71]:519.8
GRNTI 20.01 Общие вопросы информатики
GRNTI 28.01 Общие вопросы кибернетики
GRNTI 49.01 Общие вопросы связи
GRNTI 50.01 Общие вопросы автоматики и вычислительной техники
GRNTI 82.01 Общие вопросы организации и управления
BBK 56.138.7-4:22.181
Language:
Russian
Keywords:
coefficient of concordance, expert evaluation, shortcomings, alternative, strict ranking
Abstract (English):
The shortcomings of classical coefficient of concordance for the case of the expert procedure in the form of a strict ranking are analyzed. The formula that eliminates one of the drawbacks of the classical coefficient of concordance is presented. An alternative version of the coefficient of concordance is also proposed.
The shortcomings of classical coefficient of concordance for the case of the expert procedure in the form of a strict ranking are analyzed. The formula that eliminates one of the drawbacks of the classical coefficient of concordance is presented. An alternative version of the coefficient of concordance is also proposed.
Keywords:
coefficient of concordance, expert evaluation, shortcomings, alternative, strict ranking
coefficient of concordance, expert evaluation, shortcomings, alternative, strict ranking
Введение Проблема оценки степени согласованности мнений отдельных экспертов является одной из ключевых при проведении любых экспертных процедур. Требуется, чтобы уровень согласованности мнений экспертов был достаточно высоким для того, чтобы результаты проведенной экспертной процедуры признать приемлемыми. При низком уровне согласованности мнений результаты экспертизы отвергаются. Существуют различные методы оценки степени согласованности мнений экспертов [1]. Одним из наиболее известных является коэффициент конкордации W. Коэффициент W представляет собой суммарную величину отклонений мнений экспертов от случая, когда эти мнения проставлены совершенно случайным образом и эта величина пронормирована с целью приведения её к интервалу [0, 1], т. е. разделена на максимально возможное ее значение. Доказывается, что если рассматривать мнения экспертов как отдельные наблюдения случайной выборки, то W, как случайная величина, при достаточно большом числе экспертов и оцениваемых объектов (или критериев) практически описывается стандартным χ2-распределением. Достаточно полно перечисленные выше проблемы рассмотрены в [1, 2]. Однако, как будет показано ниже, при анализе содержания коэффициента W, этот метод имеет ряд недостатков. Будет предложен вариант их устранения и, кроме того, будет приведено альтернативное определение коэффициента конкордации. Анализ содержания коэффициента конкордации Прежде всего проведем содержательный анализ сути коэффициента конкордации в экспертных процедурах с целью выявления, какие аспекты согласованности мнений отражены в этом коэффициенте. Как будет показано ниже, классический коэффициент конкордации отображает отклонение имеющихся экспертных оценок от наихудшего варианта этих оценок. Отметим, что при этом плохих вариантов, вообще говоря, много, и поэтому непонятно, с каким из этих вариантов происходит сравнение – в отличие от наилучшего варианта оценок, который является единственным. Предположим, что экспертная процедура проводится по методу строгой ранжировки. Введем обозначения: n – число оцениваемых объектов; N – число экспертов; – ранговая оценка j-го объекта i-м экспертом. Таблицу будем называть таблицей экспертных оценок или экспертной выборкой. Тогда коэффициент конкордации W вычисляется по следующей формуле [1]: , (1) где – сумма всех оценок j-го объекта Классическое выражение (1) для случая строгой ранжировки получено на основе следующих соображений. Предположим, что все ранговые оценки каждого из экспертов проставлены абсолютно случайным образом. Тогда для любого j () все элементы () j-го столбца являются случайными величинами, равномерно распределенными на множестве целых чисел {1, 2, … , n}, т. е. каждое из значений принимается с вероятностью . Поэтому , где M – знак математического ожидания, и, следовательно, . Естественно в качестве меры отклонения данного экспертного выбора от абсолютно случайного варианта заполнения таблицы взять среднеквадратическое отклонение средней экспертной оценки j-го показателя от наиболее худшего случая, когда все оценки проставлены случайно, т. е. величину , а в качестве оценки по всем показателям мерой отклонения данной выборки взять величину . (2) Однако диапазон значений оценки зависит от n и N. Поэтому пронормировали ее максимальным значением по всем возможным экспертным выборкам, т. е. в качестве оценки следует рассматривать величину , которая изменяется в интервале от 0 до 1. Величина и есть классический коэффициент конкордации W при строгой ранжировке. Для того чтобы в этом убедиться, найдем . Из эвристических соображений ясно, что достигает наибольшего значения, когда экспертные оценки {} полностью согласованы, т. е. одинаковы в каждом столбце – в этом случае измеряет отклонение наиболее регулярного случая, когда мнения всех экспертов полностью совпадают, от наиболее нерегулярного, когда мнения всех экспертов абсолютно случайны. Например, если (для простоты) все оценки j-го столбца равны j (т. е. для всех ), то и , получаем . (3) После подстановки (2) в (3) получаем (1). Выведем (3) строгими методами. Пусть . Переставим и местами; тогда величина перепишется в виде . Откуда выводим (;значение после перестановки и местами): , (4) где – остаток суммы в m-м столбце. Из (4) выводим: если пары () и неодинаково монотонны (т. е. либо одновременно , но , либо , но ), то после перестановки местами и значение функции возрастает. Полученный результат позволяет сформировать следующий алгоритм нахождения . Алгоритм включает n этапов – по числу столбцов в экспертной выборке. Рассмотрим этап 1. 1. Перебираем все столбцы, в которых есть хотя бы одно число 1. Пусть это столбцы с номерами , , …, и , , …, и , , …, – соответствующие остатки сумм по столбцам. Отметим, что в экспертной таблице ровно N чисел, равных 1. Далее все номера , , …, различны, т. к. в каждой строке имеется только одно число, равное 1. Укажем также, что среди номеров , , …, могут быть равные – в одном столбце может быть несколько элементов 1. Упорядочим , , …, в порядке возрастания; получим . Для простоты изложения предположим, что в исходном ряде , т. е. все последовательности , , …, и , , …, совпадают. Переставим местами элементы и . Так как (напомним, все ) и , то, ввиду (4), значение после перестановки не уменьшится. Затем последовательно переставляем местами числа и ; и , …, и . При каждой перестановке значение не уменьшается. Следовательно, после завершения процесса перестановки все элементы 1 будут находиться только в столбце – он состоит только из 1. В остальных столбцах все элементы . Переходим к этапу 2. 2. Перебираем все столбцы, содержащие число 2; пусть , , …, и , , …, – соответствующие остатки сумм по столбцам. Далее процедура проводится аналогично этапу 1. Получаем после завершения всех перестановок: все элементы столбца равны 2, а все элементы экспертной выборки, не вошедшие в столбцы , , будут ; при этом значение не уменьшается. Остальные (n − 2) этапа реализуются аналогично. После завершения всех этапов получим таблицу оценок, в которой все элементы столбца равны 1, столбца равны 2, , …, ; столбца равны , т. е. получается в точности та же таблица, что и при получении соотношения (3) на основе эвристических рассуждений. Таким образом, классический коэффициент конкордации W (см. (1)) описывает меру отклонения данной экспертной выборки от абсолютно случайной выборки. Недостатки классического определения коэффициента конкордации Оценка степени согласованности мнений экспертов на основе коэффициента W имеет ряд недостатков, анализируемых ниже. Сама базовая суть выражения (1), оценивающего отклонение текущих оценок от абсолютно случайных, является некорректной. Каждая оценка получается в результате синтеза (наложения) объективной составляющей для j-го объекта (или критерия) на величину обычно неслучайного личного опыта эксперта по контакту с j-м критерием (объектом). Пусть этот опыт измеряется величиной , которую можно считать случайной (хотя данное положение также требует уточнения), т. е. , где (синтезирующая функция) зависит от характера набора критериев. Отсюда следует, что если объективная составляющая мала, т. е. , то оценка может рассматриваться как случайная величина. Но если сравнима с или доминирует, то предположение о случайности становится некорректным. Как следствие, использование -распределения для оценки значимости W, когда W близко к 1 и объективная составляющая доминирует, т. е. , становится некорректным. Отметим, что в простейшем случае построения числовых оценок критериев часто синтезирующую функцию можно считать аддитивной: . Таким образом, использование коэффициента W в качестве меры согласованности мнений с привлечением статистического аппарата -распределения проверки значимости критериев является, вообще говоря, некорректным. При определенных сочетаниях параметров n и N коэффициент W не может в принципе принимать нулевого значения. Это противоречить сути W как коэффициента согласованности, а именно, если мнения экспертов абсолютно не согласованы, то мера их согласованности W должна равняться нулю. Данный недостаток связан с тем, что все принимают целочисленные значения, а «идеальная» ситуация, с которой сравниваются оценки (когда все оценки случайны), задается вектором , компоненты которого при нечетном значении являются полуцелыми числами. При этом минимальное значение величины , (5) и, следовательно, . (6) Более детально исследуем возможные значения (и W). Если – чётное число, то либо N – четное, либо – четное число. Пусть N – четное число. Тогда экспертная таблица (табл. 1), при которой W = 0, следующая: Таблица 1 Критерий Эксперт 1 2 3 … n – 1 n 1 1 2 3 … n – 1 n 2 n n – 1 n – 2 … 2 1 3 1 2 3 … n – 1 n 4 n n – 1 n – 2 … 2 1 N – 1 1 2 3 … n – 1 n N n n – 1 n – 2 … 2 1 Сумма в каждом столбце равна , и, следовательно, . Если – четное число (т. е. n – нечетное), а N – нечетное, то положим ; тогда , и в качестве искомой экспертной таблицы можно взять табл. 2. Таблица 2 Критерий Эксперт 1 2 3 … n0 – 1 n0 n0 + 1 n0 + 2 … n – 1 n 1 1 2 3 … n0 – 1 n0 n0 + 1 n0 + 2 … n – 1 = n0 +n0 n = n0 + + (n0 + 1) 2 n0 + 2 n0 + 3 n0 + 4 … n0 + n0 =n – 1 n0 + (n0 + 1)= n 1 2 … n0 n0 + 1 3 n – 1 n – 3 n –5 … n – (2n0 – 3)= 4 n – (2n0 – 1) = 2 n n – 2 … n – 2(n0 – 1) = 3 n – 2n0 =1 4 1 2 3 … n0 – 1 n0 n0 + 1 n0 + 2 … n – 1 n 5 n n – 1 n – 2 … n – [(2n0 – 1) – –1] = n0 + 3 n – (n0– 1) = = n0 + 2 n0 + 1 n0 … 2 1 N – 1 1 2 3 … n0 – 1 n0 n0 + 1 n0 + 2 … n – 1 n N n n – 1 n – 2 … n0 + 3 n0 + 2 n0 + 1 n0 … 2 1 Поясним способ заполнения табл. 2, а также покажем, что для табл. 2 . Пары строк (4; 5), (6; 7), …, (N – 1; N) заполняются аналогично табл. 1. Суммы элементов первых двух строк равны следующим числам: при имеем . Отсюда следует, что при величина , убывая, принимает последовательно значения: , , , …, . При имеем , и, следовательно, при изменении k от до ) принимает последовательно значения: ; . (7) Таким образом, сумма при пробегает все целые значения от до − всего значений. Третья экспертная строка выбирается таким образом, чтобы, как и выше, при заполнении строк (4; 5), (6; 7), …, (N – 1; N), k-му по величине в порядке возрастания числу ряда (7) сопоставлялось число , именно числу k с сопоставляется в третьей строке число . Тогда сумма первых трех элементов в k-м столбце равна: . Отсюда следует: сумма всех элементов k-го столбца равна: , т. е. для всех имеем , откуда следует . Таким образом, если – четное число, то значение W = 0 достижимо. Пусть – нечетное число, т. е. N – нечетно, n – четное, и пусть . Покажем, что тогда оценка (6) также достижима. Рассмотрим следующую экспертную таблицу (табл. 3), аналогичную табл. 2. Таблица 3 Критерий Эксперт 1 2 3 … n0 – 1 n0 n0 + 1 n0 + 2 … n – 1 n 1 1 2 3 … n0 – 1 n0 n0 + 1 n0 + 2 … n – 1 =n0+ +(n0-1) n = n0 + n0 2 n0 n0 + 1 n0 + 2 … n0 + (n0 – 2) = = n – 1 n0 + (n0 – 1) = = n 1 2 … n0 – 1 n0 Sk n0 +1 n0 + 3 n0 + 6 3n0 – 3 3n0 – 1 n0 + 2 n0 + 4 … 3n0-2 3n0 3 n n – 2 n – 4 … n – 2(n0 – 2) = 4 n – 2(n0 – 1) = 2 n – 1 n – 3 … n – 2(n0 – 1) + 1 = 3 n – 2n0 + 1 =1 4 1 2 3 … n0 – 1 n0 n0 + 1 n0 + 2 … n – 1 n 5 n n – 2 n – 2 … n0 + 2 n0 + 1 n0 n – 2 … 2 1 N – 1 1 2 3 … n0 – 1 n0 n0 + 1 n0 + 2 … n – 1 n N n n – 1 n – 2 … n0 + 2 n0 + 1 n0 n0 – 1 … 2 1 В табл. 3 приведены также соответствующие значения . Как видно из табл. 3, принимает значения от до – всего различных значений. Как и выше, в k-м столбце значение в третьей строке равно , где m находится из условия , т. е. .Отсюда выводим: для любого . Отсюда выводим: . Таким образом, экспертная табл. 3 обеспечивает достижение в (5) условия . Модификация классического коэффициента конкордации Выше мы выяснили, что классическое определение коэффициента конкордации W имеет ряд недостатков. В данном разделе попытается устранить некоторые из этих дефектов W, модифицировав соотношение (1). «Подправим» классическое определение W: если четное число, то определение W остается прежним, если же – нечетное число, то предлагается, ввиду (5), заменить на следующее выражение: Тогда, как показано выше, значение достижимо, например, когда экспертная выборка задается табл. 3. В этом случае, как и выше, полагаем . Найдем . Как и при выводе (3), опираясь на соотношение аналогичное (4), убеждаемся, что D достигается, когда каждый столбец экспертной табл. 3 состоит из одних и тех же чисел. Отсюда выводим (см. (3)): . Отсюда вытекает: если − нечетное, то следует положить коэффициент конкордации W равным . Таким образом, окончательно приходим к следующему определению коэффициента конкордации W, уточняющего формулу (1): , где Альтернативное определение коэффициента конкордации Рассмотрим сам основополагающий подход к построению коэффициента конкордации: сравнение текущей экспертной выборки с ее наиболее худшим вариантом. Как было отмечено выше, само понятие «худший вариант» означает, что в выборке нет никакого объективного содержания. В случае же, когда в выборке большой объем объективного содержания, т. е. экспертные мнения достаточно согласованы, рассмотрение выборки как набора случайных чисел при проверке степени согласованности, вообще говоря, проблематично и не вполне корректно. Исходя из сказанного, предлагается при оценке согласованности сравнивать текущую выборку не с наихудшим случаем, а с наилучшим случаем, когда мнения всех экспертов полностью согласованы, и чем меньше различие между ними, тем выше степень согласованности мнений экспертов. Структура выборки для наилучшего случая, когда мнения экспертов полностью согласованы, известна: в каждом столбце экспертной таблицы все ранговые оценки полностью совпадают. Поэтому предлагается следующая процедура построения коэффициента согласованности – аналога коэффициента конкордации. 1. Находим для всех , и упорядочиваем в порядке неубывания; получаем вариационный ряд . 2. Если для некоторых k и l имеем , то находятся и (аналоги дисперсий) по формуле , где j – номер столбца, соответствующий или . Затем их сравнивают: если , то полагаем , если , то ; при величины и упорядочиваются произвольным образом. 3. Полагаем: и . Найдем . Из эвристических соображений ясно, что , т. к. в обоих случаях находятся различия между наилучшим и наихудшим вариантами экспертной таблицы. Проведем строгое обоснование данного факта. Рассмотрим более обобщенный вариант экспертной таблицы, когда оценки могут принимать любые положительные значения с единственным условием: , и найдем при данном предположении. Выберем произвольно номера столбцов и увеличим все значения j-го столбца на , а все значения k-го столбца уменьшим на так, чтобы новые номера столбцов и удовлетворяли условию . Тогда изменится на следующую величину: , где , и – новые номера k-го и j-го столбцов, , . Для того чтобы в результате описанного преобразования значения не уменьшались, необходимо , т. е. или . При этом необходимо, чтобы взаимная последовательность j-го и k-го столбцов не изменялась для того, чтобы , т. е. , или . Таким образом, получаем следующие условия на : (8) что выполнимо при , т. е. . Если не все столбцы табл. 3 совпадают, то номера j и k, удовлетворяющие последнему условию, существуют, т. к. в противном случае имеем – противоречие. Следовательно, если не для всех пар () , то можно найти такие пары (), которые позволяли бы выбрать , удовлетворяющее условиям (8), и на основе описанной выше процедуры увеличить значение . Процесс увеличения значений величины закончится, когда для всех пар k и j. Это означает, что . Таким образом, мы доказали, что при непрерывном изменении возможных значений оценок . (9) Но выше было показано, что описанная оценка также достижима при обычных ранговых оценках, приведенных в табл. 2 и 3. Следовательно, соотношение (9) справедливо для ранговых оценок . Подводя итог, приходим к следующему выражению для введенного коэффициента согласованности мнений экспертов: , где В случае классического коэффициента конкордации W исследованы вероятностные свойства W в предположении, что оценки являются случайными [1]. Полученные распределения используются при анализе степени согласованности мнений экспертов на основе W. Анализ вероятностных свойств при указанном выше предположении о случайном характере является отдельной самостоятельной задачей. Заключение Таким образом, в ходе исследований выявлены недостатки классического определения коэффициента конкордации, предложен способ его совершенствования. Приведено также альтернативное определение коэффициента конкордации, имеющее ряд содержательных достоинств по сравнению с классическим определением для случая высокой степени согласованности. Результаты исследований открывают ряд новых направлений в совершенствовании коэффициента конкордации. Это, в частности, перенос полученных результатов на случай нестрогой ранжировки оценок, исследование вероятностных свойств введенных в работе оценок. Данные вопросы предполагается исследовать в дальнейшем. СПИСОК ЛИТЕРАТУРЫ 1. Евланов Л. Г. Экспертные оценки в управлении / Л. Г. Евланов, В. А. Кутузов. – М.: Экономика, 1978. – 133 с. 2. Бююль А. SHSS: искусство обработки информации: Анализ статистических данных и скрытых закономерностей / А. Бююль, П. Цефель. – СПб.: ООО «ДиаСофт», 2002. – 608 с. REFERENCES 1. Evlanov L. G., Kutuzov V. A. Ekspertnye otsenki v upravlenii [Expert evaluation in management]. Moscow, Ekonomika Publ., 1978. 133 p. 2. Biuiul' A., Tsefel' P. SHSS: iskusstvo obrabotki informatsii: Analiz statisticheskikh dannykh i skrytykh zakonomernostei [SHSS: proficiency of information processing: Analysis of statistical data and hidden regularities]. Saint Petersburg, OOO «DiaSoft», 2002. 608 p.
1. Evlanov L. G. Ekspertnye ocenki v upravlenii / L. G. Evlanov, V. A. Kutuzov. - M.: Ekonomika, 1978. - 133 s.
2. Byuyul' A. SHSS: iskusstvo obrabotki informacii: Analiz statisticheskih dannyh i skrytyh zakonomernostey / A. Byuyul', P. Cefel'. - SPb.: OOO «DiaSoft», 2002. - 608 s.
