АЛЬТЕРНАТИВНЫЙ ВАРИАНТ ОЦЕНКИ ЗНАЧИМОСТИ РЕЗУЛЬТАТОВ ЭКСПЕРТНОГО ОЦЕНИВАНИЯ В МЕТОДЕ СТРОГОГО РАНЖИРОВАНИЯ
Журнал: ВЕСТНИК АСТРАХАНСКОГО ГОСУДАРСТВЕННОГО ТЕХНИЧЕСКОГО УНИВЕРСИТЕТА. СЕРИЯ: УПРАВЛЕНИЕ, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА И ИНФОРМАТИКА
№ 4
, 2016
Рубрики: МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ
Авторы:
1.
Астраханский государственный технический университет
2.
Астраханский государственный технический университет
3.
Астраханский государственный технический университет
(старший преподаватель кафедры информационной безопасности)
Россия
Россия
Тип:
Статья
Страницы:
с 109
по 117
Статус:
Опубликован
Получено:
05.10.2016
Одобрено:
25.10.2016
Опубликовано:
25.10.2016
Классификаторы:
ВАК 05.12.2013 Системы, сети и устройства телекоммуникаций
ВАК 05.13.01 Системный анализ, управление и обработка информации (по отраслям)
ВАК 05.13.06 Автоматизация и управление технологическими процессами и производствами (по отраслям)
ВАК 05.13.10 Управление в социальных и экономических системах
ВАК 05.13.18 Математическое моделирование, численные методы и комплексы программ
ВАК 05.13.19 Методы и системы защиты информации, информационная безопасность
УДК [614.23:616.71]:519.8
ГРНТИ 20.01 Общие вопросы информатики
ГРНТИ 28.01 Общие вопросы кибернетики
ГРНТИ 49.01 Общие вопросы связи
ГРНТИ 50.01 Общие вопросы автоматики и вычислительной техники
ГРНТИ 82.01 Общие вопросы организации и управления
ВАК 05.13.01 Системный анализ, управление и обработка информации (по отраслям)
ВАК 05.13.06 Автоматизация и управление технологическими процессами и производствами (по отраслям)
ВАК 05.13.10 Управление в социальных и экономических системах
ВАК 05.13.18 Математическое моделирование, численные методы и комплексы программ
ВАК 05.13.19 Методы и системы защиты информации, информационная безопасность
УДК [614.23:616.71]:519.8
ГРНТИ 20.01 Общие вопросы информатики
ГРНТИ 28.01 Общие вопросы кибернетики
ГРНТИ 49.01 Общие вопросы связи
ГРНТИ 50.01 Общие вопросы автоматики и вычислительной техники
ГРНТИ 82.01 Общие вопросы организации и управления
Язык материала:
русский
Ключевые слова:
экспертная процедура, метод строго ранжирования, оценка значимости результата, алгебраические подстановки, нормирование оценки расхождения
Аннотация (русский):
Предлагается альтернативный вариант процедуры оценки степени согласованности мнений экспертов при обработке экспертных оценок, полученных на основе реализации метода строгого ранжирования. Существующие подходы (на основе коэффициента конкордации, проверки гипотез, вычисления коэффициента вариации) рассматривают экспертные оценки как независимые, одинаково распределенные случайные величины, что принципиально не соответствует сути экспертного оценивания, которое нацелено на выявление детерминированной составляющей в оцениваемых объектах или критериях. Новый подход к построению коэффициента значимости экспертного оценивания опирается на алгебраические методы теории постановок. В предлагаемом методе пара экспертных оценок представляется в виде подстановки, разлагается на транспозиции. Минимальное количество транспозиций в постановке и рассматривается как мера рассогласованности мнений экспертов. Приведена наглядная геометрическая интерпретация предлагаемого метода, а также процедура обоснования его корректности и нахождения подстановки, обеспечивающего максимальное значение оценки. Полученная величина нормируется ее максимальным значением для обеспечения изменения результата в промежутке от 0 до 1. Найдено максимальное значение коэффициента значимости для случая двух экспертов. Результаты исследования могут быть обобщены на случай, когда необходимо учитывать компетентность экспертов, а также уровень важности объектов.
Предлагается альтернативный вариант процедуры оценки степени согласованности мнений экспертов при обработке экспертных оценок, полученных на основе реализации метода строгого ранжирования. Существующие подходы (на основе коэффициента конкордации, проверки гипотез, вычисления коэффициента вариации) рассматривают экспертные оценки как независимые, одинаково распределенные случайные величины, что принципиально не соответствует сути экспертного оценивания, которое нацелено на выявление детерминированной составляющей в оцениваемых объектах или критериях. Новый подход к построению коэффициента значимости экспертного оценивания опирается на алгебраические методы теории постановок. В предлагаемом методе пара экспертных оценок представляется в виде подстановки, разлагается на транспозиции. Минимальное количество транспозиций в постановке и рассматривается как мера рассогласованности мнений экспертов. Приведена наглядная геометрическая интерпретация предлагаемого метода, а также процедура обоснования его корректности и нахождения подстановки, обеспечивающего максимальное значение оценки. Полученная величина нормируется ее максимальным значением для обеспечения изменения результата в промежутке от 0 до 1. Найдено максимальное значение коэффициента значимости для случая двух экспертов. Результаты исследования могут быть обобщены на случай, когда необходимо учитывать компетентность экспертов, а также уровень важности объектов.
Ключевые слова:
экспертная процедура, метод строго ранжирования, оценка значимости результата, алгебраические подстановки, нормирование оценки расхождения
экспертная процедура, метод строго ранжирования, оценка значимости результата, алгебраические подстановки, нормирование оценки расхождения
Введение Несмотря на широкое распространение различных методов экспертного оценивания, ряд важных вопросов, связанных с проведением экспертной процедуры и обработки результатов, в настоящее время решены не полностью. Среди них и вопрос об оценке значимости результатов экспертного оценивания, т. е. вопрос о том, насколько стабильны результаты оценивания (это связано с тем, насколько согласованы мнения экспертов по проблеме, рассматриваемой в экспертной процедуре) для того, чтобы на них можно было бы полагаться. Применительно к методам ранжирования для оценки значимости чаще всего используются следующие методы: 1) метод проверки гипотезы на основе критерия Пирсона; 2) коэффициент конкордации; 3) коэффициент вариации. Основной недостаток всех перечисленных подходов заключается в следующем [1]: экспертные оценки рассматриваются как реализации некоторых случайных величин и поэтому обрабатываются на основе методов математической статистики. Такое понимание оценки часто не вполне согласуется с реальной ситуацией, когда есть объективно правильное ранжирование объектов, которое, однако, никому из экспертов неизвестно, а конкретные экспертные оценки получаются в результате наложения на указанную, объективно правильную величину некоторой случайной величины, определяемой личным опытом каждого конкретного эксперта. При таком понимании оценки неправомерно считать оценки чисто случайными, получаемыми на основе реализаций независимых случайных величин [1], поскольку каждая оценка (как и каждый критерий) имеет свою, отличную от других, детерминированную составляющую. Кроме того, перечисленные выше методы оценки степени согласованности мнений экспертов имеют и свои специфические недостатки. Так, метод проверки гипотез Пирсона опирается на предположение, что исходные случайные величины имеют нормальное распределение, что не соответствует реальному поведению экспертных оценок в методе ранжирования. Далее, в методе Пирсона для надежного заключения рекомендуется, чтобы объем выборки составлял не менее 20-30 наблюдений [2], т. е. необходимо привлечение не менее 20-30 экспертов, что реализовать практически невозможно. Основной недостаток коэффициента конкордации, как указано в [1], заключается в том, что степень согласованности оценивается степенью отклонения текущих оценок от случая, когда мнения экспертов совершенно не согласованы, случайны, в то время как наибольший практический интерес представляет как раз противоположная ситуация, т. е. ситуация, когда мнения экспертов полностью совпадают. В работах [1, 3] предлагается альтернативный вариант коэффициента конкордации - сравнение текущих оценок происходит с идеальным случаем, когда оценки всех экспертов полностью совпадают. Однако и в этом методе проверки значимости экспертные оценки рассматриваются как случайные величины. Наконец, оценка значимости на основе коэффициента вариации является достаточно грубым методом. Основное его достоинство - возможность использования даже при очень малых объемах выборки (т. е. при малом числе экспертов - 3-4 эксперта). В данной работе предлагается метод оценки степени согласованности мнений экспертов по процедуре строгого ранжирования на основе использования алгебраических (невероятностных) методов. Исследований, опирающихся на указанный подход, в доступной литературе найти не удалось. Отметим, что использование алгебраических методов для анализа результатов экспертного оценивания достаточно эффективно [4]. I. Предварительные сведения Основой оценки степени согласованности мнений экспертов является попарное оценивание согласованности мнений. В этом случае два ранжированных набора в совокупности представляют собой подстановку, т. е. один из ранжированных рядов получается из другого путем перестановки его элементов. В качестве меры рассогласованности мнений двух соответствующих экспертов можно принять величину, описывающую, насколько сложна эта подстановка. Рассмотрим указанный подход более детально. Пусть даны два набора ранговых оценок - и - некоторой упорядоченной совокупности из n критериев или объектов. Тогда можно сформировать подстановку P= . Переставим столбцы подстановки так, чтобы верхний ряд чисел записался в виде ряда 1, 2, …, n. Тогда исходная подстановка P запишется в виде . Отбросив верхний ряд, наличие которого подразумевается по умолчанию, получаем следующую запись подстановки P: . Именно последним представлением подстановки мы и будем пользоваться ниже. Пусть - подстановка чисел {1, 2, …, n}. Тогда, как известно [5], любую подстановку можно разложить на простейшие подстановки, когда переставляются только два числа (i, j), т. е. P может быть представлено в виде (1) причем такое представление единственно. Здесь допустимы элементарные подстановки, оставляющие элемент на месте, т. е. подстановки типа с . В дальнейшем простейшие подстановки указанного типа не учитываются. Отметим, что данное разложение минимально по количеству элементарных подстановок, входящих в него, т. к. при меньшем числе подстановок хотя бы один элемент не войдет в верхнюю строку. Тогда ранговые оценки экспертов могут быть представлены в виде матрицы M: M = где - вектор оценок k-го эксперта; N - число экспертов. Опишем возможную процедуру получения представления (1). Вначале разобьем заданную подстановку на совокупность непересекающихся множеств следующим образом. Выбираем число . Пусть в подстановке переходит на -е место (если остается на месте, то полагаем ). Число переходит на -е место и т. д., пока при некотором не получим . Такое обязательно найдется, т. к. число чисел конечно (равно n), и, следовательно, с некоторого момента они должны повториться. Далее число при l > 1 не может совпасть с , т. к. получим противоречие: два числа, и , переходят в . Получаем первое упорядоченное множество вершин . Если , то в это множество вошли все вершины. Если , то имеется вершина . Из подобных вершин выбираем вершины с наименьшим номером. Повторяем аналогичную процедуру перебора вершин, начиная с . При этом ни одна из вершин не совпадает с вершинами из А1, т. к. в противном случае две вершины переходят в . Получаем в результате второе множество - . Отметим, что А2 (как и A1) может состоять из 1-го элемента, если этот элемент остается на своем месте. Если (т. е. не все элементы просмотрены), то процедура повторяется до тех пор, пока не будут просмотрены все элементы. В результате все множество вершин разобьем на совокупности непересекающихся упорядоченных множеств А1, А2, …, АМ. Графически это можно изобразить в виде совокупности колец (рис. 1). A1 Рис. 1. Графическое представление разбиения подстановки на независимые группы При этом (2) и в каждой АL номер - наименьший. Верно и обратное утверждение: если имеется представление подстановки в виде независимых групп вида, приведенного на рис. 1, удовлетворяющих условиям (2) (назовем данное представление подстановки представлением (2)), то это представление однозначно задает подстановку. Таким образом, имеется взаимно однозначное соответствие между всеми подстановками и графическими представлениями (2). Представление (2) позволяет дать следующее описание исходной подстановки с помощью простых перестановок, т. е. получить (1). В каждом кольце AL в (2) имеется наименьший элемент, , который переставляется против часовой стрелки до тех пор, пока не займет место , т. е. для AL получаем следующий упорядоченный набор перестановок: . В результате происходят переходы в состояния по цепочке . Таким образом, перестановка элементов, входящих в множество А1, реализована. Выполнив указанную перестановку для всех L колец, получим следующее представление для подстановки P: (3) Отметим характеристическое свойство, отделяющее одну группу от другой: в последовательности соседних перестановок одной группы правый элемент предыдущей перестановки совпадает с левым элементом последующей перестановки. Как только данное свойство нарушается, значит, начинается следующая группа. Очевидно, что представление (3) строится однозначно для каждого представления (2), а значит, и для исходной постановки Р. Число перестановок в (3) равно , т. к. не превосходит числа всех вершин графа (2), т. е. числа n, - в (3) не учитываются вершины, которые остались на месте при выполнении P. Равенство достигается в случае, когда нет вершин, которые остаются на месте при выполнении перестановки P. Максимальное значение числа перестановок равно n - 1 и достигается при M = 1 и отсутствии элементов, которые остаются на месте, минимальное значение равно 0 - для тожественной перестановки Р = (1, 2, 3, …, n). Из представления (3) можно получить представление (1), и наоборот. Из (3) представление (1) получается следующим образом. Переставляем все перестановки в (3) в порядке увеличения значений левого элемента каждой перестановки. Если в полученной последовательности нет элемента типа (k; jk) для некоторого k, то на k-е место добавляется элемент (k; k) (т. е. jk = k). Перестановка (n; jn) добавляется в конце, т. к. она не может быть получена из остальных перестановок (k; jk), k < n. Здесь jn есть тот элемент, которого нет в наборе . Для получения (3) из (1) выполняем следующие действия. Выбираем в (1) последовательность перестановки (при ): . . Полученная совокупность перестановок и есть А1. Если , то находим минимальное такое, что , но . Затем выбираются перестановки и формируется множество A1 аналогично случаю . После формирования А1 из оставшихся перестановок выбирается самая левая (т. е. с минимальным значением левого элемента) - значение, которое еще не просматривалось ранее, и полученная процедура повторяется до тех пор, пока не будут исчерпаны все элементы в (1). Так как представление (3) единственно, то представление (1) также единственно. II. Формирование коэффициента расхождения в процедуре строгого ранжирования Опишем процедуру оценки степени расхождения мнений экспертов по результатам их участия в экспертной процедуре оценки критериев (объектов) на основе метода строгого ранжирования. Пусть даны результаты ранжирования критериев двумя экспертами: и . Тогда меру расхождения между данными оценками (обозначим ее ) можно оценивать минимальным числом перестановок, на основе выполнения которых можно перейти от набора к набору или, наоборот, от к - число перестановок в обоих случаях совершенно одинаково. Рассматриваем подстановку P = и находим минимальное разложение вида (1) или (3) на основе процедуры, описанной в параграфе I. Тогда в качестве меры расхождения берется величина (см. формулу (1)) . (4) В качестве меры расхождения по всей совокупности экспертных оценок, представленных матрицей M, предлагается взять среднее арифметическое всех попарных оценок, т. е. величину (5) где - число различных пар экспертов. Оценка (5) имеет один известный недостаток - границы ее изменения зависят от числа экспертов N, что делает крайне затруднительным ее использование при сравнении двух результатов оценивания с разным числом экспертов. Поэтому, как это принято в теории экспертного оценивания, пронормируем меру ее максимальным значением , т. е. будем рассматривать в качестве меры расхождения величину (6) Тогда величина w будет всегда (при любом числе экспертов) изменяться в интервале от 0 до 1. При этом значение w = 0 соответствует наибольшей степени согласованности мнений экспертов, а значение w = 1 - наименьшей степени согласованности мнений. Для практического использования оценки (6) необходимо прежде всего вычислить значение . Однако вычислить значение пока не удалось. Одним из типовых способов вычисления его значения является нахождение значения на основе перебора всех возможных пар, что на практике вполне реализуемо ввиду относительно небольших значений числа экспертов N и числа критериев n. III. Вычисление максимального значения абсолютной меры расхождения для случая двух экспертов Найдем значение max, т. е. значение для случая двух экспертов (N = 2). Для нахождения опишем процедуру преобразования подстановки, в результате реализации которой значение расхождения увеличивается, если текущее значение не является максимальным. Рассмотрим две пары простейших подстановок: {(a, i); (b, j)} и {(a, j); (b, i)}. Пары отличаются тем, что вторые элементы в них переставлены местами. Выясним, каким свойствам должны удовлетворять эти пары, чтобы быть в составе подстановки, при которой достигается максимальное значение . Сравним два выражения: и . Пусть для определенности a < b и i < j. Тогда возможны следующие пять случаев взаимного расположения чисел a, b, i, j (рис. 2): Рис. 2. Возможные варианты взаимного расположения чисел в элементарных подстановках В каждом из приведенных случаев значения модулей раскрываются, т. е. мы может избавиться от них. Сравним величины и в каждом из пяти случаев. 1. ; . Отсюда заключаем, что в случае 1 всегда = . 2. ; . Отсюда следует: , т. е. ≥ , причем равенство достигается при . 3. ; . Отсюда следует: , т. е. ≥ , причем равенство достигается при . 4. ; . Отсюда следует: , т. е. ≥ , причем равенство достигается при . 5. ; . Отсюда заключаем, что в случае 5 всегда = . Таким образом, во всех пяти случаях значение не меньше значения , поэтому в качестве основы построения подстановки, при которой достигается максимальное значение , выберем взаимное расположение чисел a, b, i, j, соответствующее значению . Выясним особенность этого взаимного расположения пары подстановок{(a, j); (b, i)}, соответствующих второму случаю, когда получается величина . Для этого взаимное расположение пар чисел в подстановке отобразим в виде следующей диаграммы (рис. 3): Рис. 3. Взаимное расположение пар чисел (a, j) и (b, i) во всех пяти возможных случаях Отсюда заключаем, что характерной особенностью во всех пяти возможных случаях является пересечение отрезков, отображающих пары (a, j) и (b, i), поэтому в подстановке, при которой достигается максимальное значение , любые две пары (k, ik) и (m, im) должны пересекаться. Построим такую подстановку. Число 1 необходимо должно соединяться с числом n (т. е. быть в одной паре с 1; при этом i1 = n). В противном случае, т. е. если i1 < n, существует число k > 1 такое, что k соединено с n, т. е. ik = n. Но тогда пары (1, i1) и (k, n) не пересекаются (рис. 4). Рис. 4. Отсутствие пересечений при альтернативном предположении Аналогично обосновывается, что число 2 должно быть соединено с числом (n - 1). В общем случае число k должно быть соединено с числом n - k + 1. Таким образом, искомая подстановка P может быть записана в виде (см. (1)): . Ее представление в виде диаграммы соединений приведено на рис. 5. Рис. 5. Диаграмма взаимосвязей для оптимальной подстановки Отсюда вытекает: Для того чтобы вычислить последнюю сумму, рассмотрим два случая, когда n - четное число, т. е. n = 2m, и когда n - нечетное число, т. е. n = 2m + 1. При n = 2m получаем: (7) При n = 2m + 1 получаем (8) Так как каждое слагаемое в (5) не превосходит , то из (5) получаем оценку для : . Отметим, что в приведенных выше определениях величин и (см. (4) и (5)) могут быть учтены также ценности оцениваемых объектов (важности критериев) и (или) компетентности экспертов, например в следующем виде: ; , где qi - ценность i-го оцениваемого объекта; pj - уровень компетентности j-го эксперта, причем , . Укажем также на необходимость выявления критических уровней предлагаемого критерия w оценки уровня значимости, что важно для интерпретации результатов оценки значимости и, как следствие, практического использования разработанной процедуры. Заключение В работе предложена новая процедура оценки уровня значимости результатов экспертного оценивания на основе метода строгого ранжирования. Основная особенность предложенной процедуры заключается в использовании алгебраических методов теории подстановок при формировании основного критерия. Сформулирован основной критерий оценки значимости, проведен анализ его содержания, приведена графическая интерпретация критерия и процедуры его оценки. Для случая двух экспертов получена формула для нахождения численного значения критерия. Среди нерешенных вопросов укажем на необходимость получения эффективной процедуры нахождения значения критерия w в общем случае, а также распространения полученных результатов на случай использования методов нестрогого ранжирования.
1. Попов Г. А., Попова Е. А. Альтернативный вариант коэффициента конкордации // Вестн. Астрахан. гос. техн. ун-та. Сер.: Управление, вычислительная техника и информатика. 2013. № 2. С. 158-167.
2. Гмурман В. Е. Теория вероятностей и математическая статистика. М.: Высш. шк., 2003. 480 с.
3. Попов Г. А., Попова Е. А. Асимптотическое поведение альтернативного варианта коэффициента конкордации // Вестн. Астрахан. гос. техн. ун-та. Сер.: Управление, вычислительная техника и информатика. 2014. № 1. С. 153-160.
4. Макаров И. М., Виноградская Т. М., Рубчинский А. А., Соколов В. В. Теория выбора и принятия решений. М.: Наука, 1982. 330 с.
5. Кострыкин А. И. Введение в алгебру. Основы алгебры. М.: МЦНМО, 2012. 272 с.
