ASYMPTOTIC BEHAVIOR OF ALTERNATIVE OF CONCORDANCE COEFFICIENT
Journal: VESTNIK OF ASTRAKHAN STATE TECHNICAL UNIVERSITY. SERIES: MANAGEMENT, COMPUTER SCIENCE AND INFORMATICS
Volume 2014 № 1
, 2014
Rubrics: MATHEMATICAL MODELING
Authors:
1.
Astrakhan Technical State University
2.
Astrakhan Technical State University
(Senior Lecturer of the Department of Information Security)
Russian Federation
Russian Federation
Type:
Article
Pages:
from 153
to 160
Status:
Published
Received:
05.01.2014
Accepted:
25.01.2014
Published:
25.01.2014
Subject area:
VAC 05.12.2013 Системы, сети и устройства телекоммуникаций
VAC 05.13.01 Системный анализ, управление и обработка информации (по отраслям)
VAC 05.13.06 Автоматизация и управление технологическими процессами и производствами (по отраслям)
VAC 05.13.10 Управление в социальных и экономических системах
VAC 05.13.18 Математическое моделирование, численные методы и комплексы программ
VAC 05.13.19 Методы и системы защиты информации, информационная безопасность
UDK [614.23:616.71]:519.8
GRNTI 20.01 Общие вопросы информатики
GRNTI 28.01 Общие вопросы кибернетики
GRNTI 49.01 Общие вопросы связи
GRNTI 50.01 Общие вопросы автоматики и вычислительной техники
GRNTI 82.01 Общие вопросы организации и управления
BBK 56.138.7-4:22.181
VAC 05.13.01 Системный анализ, управление и обработка информации (по отраслям)
VAC 05.13.06 Автоматизация и управление технологическими процессами и производствами (по отраслям)
VAC 05.13.10 Управление в социальных и экономических системах
VAC 05.13.18 Математическое моделирование, численные методы и комплексы программ
VAC 05.13.19 Методы и системы защиты информации, информационная безопасность
UDK [614.23:616.71]:519.8
GRNTI 20.01 Общие вопросы информатики
GRNTI 28.01 Общие вопросы кибернетики
GRNTI 49.01 Общие вопросы связи
GRNTI 50.01 Общие вопросы автоматики и вычислительной техники
GRNTI 82.01 Общие вопросы организации и управления
BBK 56.138.7-4:22.181
Language:
Russian
Keywords:
concordance coefficient, expert evaluation, asymptotic behavior, algorithm of formation of tables of values
Abstract (English):
The possibility of the practical use of the alternative, proposed by the authors, of concordance coefficient is considered. The procedure of using splits into two cases. The first case includes a small amount of the estimated parameters and experts; in this case, the analysis of the significance of the concordance coefficient is proposed to conduct using the tables of exact values and the graphics of distribution. The second case covers a large number of estimated parameters; in this case, to analyze the significance of the concordance coefficient the authors suggest using its asymptotic behavior. The ratio characterizing the relation of traditional and alternative concordance coefficient is obtained.
The possibility of the practical use of the alternative, proposed by the authors, of concordance coefficient is considered. The procedure of using splits into two cases. The first case includes a small amount of the estimated parameters and experts; in this case, the analysis of the significance of the concordance coefficient is proposed to conduct using the tables of exact values and the graphics of distribution. The second case covers a large number of estimated parameters; in this case, to analyze the significance of the concordance coefficient the authors suggest using its asymptotic behavior. The ratio characterizing the relation of traditional and alternative concordance coefficient is obtained.
Keywords:
concordance coefficient, expert evaluation, asymptotic behavior, algorithm of formation of tables of values
concordance coefficient, expert evaluation, asymptotic behavior, algorithm of formation of tables of values
Введение При оценке степени согласованности мнений экспертов на основе коэффициента конкордации W [1] большое значение имеет знание асимптотического поведения W, когда объем выбора и число экспертов неограниченно растут. Знание асимптотического распределения W позволяет проверить гипотезы о его значимости и на этой основе делать выводы о степени согласованности или несогласованности мнений экспертов, а также о наличии объективного содержания в результатах экспертной процедуры. Кроме того, асимптотическое распределение позволяет строить доверительные интервалы для W, что может быть использовано для повышения качества результатов экспертной процедуры путем выявления и отбрасывания отдельных экспертных оценок. Отметим, что, согласно [2], если число оцениваемых параметров и число , то для оценки степени согласованности уже могут использоваться на практике асимптотические методы. Для и в [2] приведены таблицы точных распределений коэффициента конкордации W. Однако в [3] было показано, что классическое определение коэффициента конкордации имеет ряд недостатков, и предложены способы устранения этих недостатков. Кроме того, в [3] предложен альтернативный вариант коэффициента конкордации. Однако остался открытым вопрос о его асимптотическом поведении. Устранение этого пробела исследуется в этой работе. Основным вопросом, для ответа на который и разработан аппарат выборочных коэффициентов корреляции, является следующий: насколько существенна взаимосвязь между заданными совокупностями наблюдений в свете статистической теории выборки; в нашем случае такими совокупностями наблюдений являются оценки экспертов. При этом выборочные наблюдения сводятся к оценке рангов отдельных объектов. Если выявится взаимосвязь между наборами экспертных оценок, то можно заключить, что исследуемые характеристики объектов, с которыми связаны экспертные оценки, также взаимосвязаны. Анализ альтернативного коэффициента конкордации для конечных значений параметров Прежде всего проведем анализ содержательной сути коэффициента конкордации в экспертных процедурах, выявив, какие аспекты согласованности отражены в этом коэффициенте. Как показано в [3], классический коэффициент конкордации отображает отклонение совокупности имеющихся экспертных оценок от наихудшего варианта этих оценок, когда все оценки случайны. Именно для указанной ситуации и разработан классический аппарат (асимптотическое поведение, процедуры анализа) проверки значимости коэффициента конкордации и, как следствие, наличия взаимосвязи между исследуемыми характеристиками. Логика указанного подхода следующая: чем меньше коэффициент конкордации (для проверки этого факта и предназначена существующая теория проверки значимости коэффициента конкордации), тем «ближе» выборка к наиболее плохому для нас случаю отсутствия общего содержания (взаимозависимости) у совокупности объектов; следовательно, если коэффициент конкордации значителен по величине, то мы находимся «далеко» от плохого случая и, возможно, ближе к хорошему случаю. Это – логика косвенного анализа коэффициента конкордации (если мы «далеки» от «плохого» случая, то, скорее всего, близки к «хорошему»). Но нас интересует прежде всего вопрос о том, насколько мы близки к «хорошему» случаю, когда все оценки всех экспертов полностью совпадают. В [3] и поставлена задача оценки близости исходного набора оценок к наилучшему случаю, когда все эксперты единодушны в своих мнениях. Таким образом, рассмотрение выборки как набора случайных чисел при проверке степени согласованности, вообще говоря, проблематично и не вполне корректно с точки зрения логики анализа взаимосвязи объектов. Отметим, что, в отличие от наилучшего случая, наихудших случаев может быть несколько, и поэтому непонятно, с каким из этих случаев сравнивать. Предварительно введем необходимые обозначения. Предположим, что экспертная процедура проводится по методу строгого ранжирования – метод нестрогого ранжирования требует дальнейших исследований. Пусть: n – число оцениваемых объектов; N – число экспертов; –ранговая оценка j-го объекта i-м экспертом. Тогда классический коэффициент конкордации W вычисляется по следующей формуле [1, c. 145; 2]: , где – сумма всех оценок j-го объекта. Как указано выше, предлагается также рассмотрение альтернативного варианта коэффициента конкордации , введенного в [3], когда при оценке согласованности сравнивают текущую выборку не с наилучшими случаями, а с наиболее согласованным вариантом, и чем меньше различие между ними, тем выше степень согласованности мнений экспертов. Структура выборки для наилучшего случая, когда мнения экспертов полностью согласованы, известна: в каждом столбце экспертной таблицы все ранговые оценки полностью совпадают. В [3] предлагается следующая процедура построения альтернативного коэффициента согласованности . 1. Вычисляем для всех и упорядочиваем в порядке неубывания; получаем вариационный ряд . 2. Если для некоторых k и l выполняется , то вычисляются дисперсии и по формуле , где j – номер столбца, соответствующий или ; если , то полагаем , если же , то ; при величины и упорядочиваются произвольным образом. 3. Полагаем: , , , (1) где Для нахождения при конечных значениях n и N воспользуемся следующей модификацией рекурсивного алгоритма перебора всех перестановок чисел от 1 до n [4, с. 142]. Рекурсивный алгоритм, приведенный в [4], осуществляет перебор всех перестановок на основе метода поиска в ширину. При этом все перестановки получаются в лексикографически упорядоченном порядке. Однако для того, чтобы выполнить вычисления применительно к каждой перестановке, необходимо будет сохранить в памяти их все, что практически невозможно при достаточно больших n и N – при n = 10 и N = 5 общее количество перестановок равно = 47 784 725 839 872 000 000. Такой объем информации невозможно хранить, и такое количество итераций невыполнимо на современном компьютере. Кроме того, поиск в глубину асимптотически работает в два раза быстрее поиска в ширину [4, с. 205]. Наконец, для нас не представляет интереса лексикографическая упорядоченность вариантов. Общая блок-схема предлагаемого рекурсивного алгоритма перебора всех перестановок приведена на рис. 1. Рис. 1. Блок-схема алгоритма формирования таблицы распределения коэффициента : а – основной алгоритм; б – алгоритм процедуры AL(); в – алгоритм процедуры Rangi() В описании алгоритма использованы следующие обозначения: D (n, N) – столбец частот различных значений в зависимости от значений по всем перестановкам рангов; I(m) – индекс порядкового номера просматриваемого рангового значения на m-м уровне глубины (в процессе просмотра рангов на основе алгоритма поиска в глубину); N1 – число еще не просмотренных наборов оценок экспертов. Алгоритм включает две процедуры: Rangi (m, N1), которая отвечает за формирование полных наборов перестановок, и AL(m, N1), которая отвечает за формирование отдельных начальных фрагментов перестановки. Идея получения требуемой перестановки на основе сравнения I(m) и m взята из [4, с. 142], где приведено ее обоснование. По окончании работы алгоритма на выходе получаем таблицу из двух столбцов, в первом столбце которой приведены значения (либо ее числителя ), во втором – частота (относительная или абсолютная) появления этих вариантов после перебора всех возможных перестановок. Результаты расчетов для n = 5 и N = 3 приведены в таблице. Отметим, что при этом общее число вариантов ранжирования равно 1 728 000. Результаты расчетов для n = 5 и N = 3 D D D D 0 0 16 0,00019 50 0,25 56094 0,665883 100 0,5 9714 0,115313 150 0,75 1866 0,022151 2 0,01 1248 0,014815 52 0,26 12684 0,15057 102 0,51 12468 0,148006 152 0,76 2160 0,025641 4 0,02 3216 0,038177 54 0,27 52194 0,619587 104 0,52 15996 0,189886 154 0,77 2394 0,028419 6 0,03 7080 0,084046 56 0,28 45726 0,542806 106 0,53 20472 0,24302 156 0,78 1002 0,011895 8 0,04 8952 0,106268 58 0,29 67152 0,797151 108 0,54 5032 0,059734 158 0,79 1164 0,013818 10 0,05 20028 0,237749 60 0,3 29304 0,347863 110 0,55 18348 0,217806 160 0,8 804 0,009544 12 0,06 3312 0,039316 62 0,31 37302 0,442806 112 0,56 4878 0,057906 162 0,81 1208 0,01434 14 0,07 23880 0,283476 64 0,32 39456 0,468376 114 0,57 11574 0,137393 164 0,82 1104 0,013105 16 0,08 28332 0,336325 66 0,33 39072 0,463818 116 0,58 6198 0,073575 166 0,83 1236 0,014672 18 0,09 26724 0,317236 68 0,34 22554 0,267735 118 0,59 11994 0,142379 168 0,84 102 0,001211 20 0,1 21972 0,260826 70 0,35 43704 0,518803 120 0,6 5460 0,064815 170 0,85 846 0,010043 22 0,11 31212 0,370513 72 0,36 18482 0,219397 122 0,61 7650 0,090812 172 0,86 228 0,002707 24 0,12 28488 0,338177 74 0,37 60918 0,723148 124 0,62 7140 0,084758 174 0,87 576 0,006838 26 0,13 53640 0,636752 76 0,38 33174 0,393803 126 0,63 6924 0,082194 176 0,88 510 0,006054 28 0,14 20640 0,245014 78 0,39 19044 0,226068 128 0,64 4092 0,048575 178 0,89 444 0,005271 30 0,15 35940 0,426638 80 0,4 23160 0,274929 130 0,65 7920 0,094017 180 0,9 314 0,003727 32 0,16 32160 0,381766 82 0,41 37182 0,441382 132 0,66 1884 0,022365 182 0,91 198 0,00235 34 0,17 69072 0,819943 84 0,42 10212 0,121225 134 0,67 6384 0,075783 184 0,92 306 0,003632 36 0,18 21244 0,252184 86 0,43 38772 0,460256 136 0,68 4776 0,056695 186 0,93 180 0,002137 38 0,19 57408 0,681481 88 0,44 23196 0,275356 138 0,69 1716 0,02037 188 0,94 120 0,001425 40 0,2 48576 0,576638 90 0,45 20516 0,243542 140 0,7 2112 0,025071 190 0,95 138 0,001638 42 0,21 26808 0,318234 92 0,46 12492 0,148291 142 0,71 3594 0,042664 192 0,96 18 0,000214 44 0,22 38076 0,451994 94 0,47 34482 0,40933 144 0,72 2194 0,026045 194 0,97 138 0,001638 46 0,23 84240 1 96 0,48 18402 0,218447 146 0,73 4962 0,058903 196 0,98 0 0 48 0,24 22602 0,268305 98 0,49 15588 0,185043 148 0,74 1536 0,018234 198 0,99 24 0,000285 200 1 120 0,001425 В таблице – значение альтернативного коэффициента конкордации для n = 5 и N = 3; – значение числителя альтернативного коэффициента конкордации; – количество ранговых перестановок для каждого возможного значения ; D – относительная частота появления каждого значения при случайном ранжировании. Аналогичные расчеты выполнены для n = 6 и N = 3 .Однако общее значение превышает 400, что не позволяет привести результаты расчетов в данной работе. Отметим, что при этом общее количество рассмотренных вариантов равно373 248 000, и это потребовало почти недельной непрерывной работы компьютера. К сожалению, при больших значениях – n > 7 и N ≥ 3 получение подобных таблиц крайне проблематично. По результатам вычислений построены графики (рис. 2, 3) зависимости частоты появления каждого значения ранжирования, которая может рассматриваться как ненормированная плотность распределения возможных значений . Рис. 2. Распределение альтернативного коэффициента конкордации при n = 5, N = 3 Рис. 3. Распределение альтернативного коэффициента конкордации при n = 6, N = 3 На основе проведенного анализа можно сделать ряд выводов. 1. Распределение частот значений коэффициента напоминает по форме -распределение. Как будет следовать из приведенных ниже результатов, данное поведение распределения закономерно. 2. Число возможных значений коэффициента существенно меньше аналогичной характеристики для классического коэффициента конкордации W. В рассматриваемом случае число возможных ненулевых значений равно числу всех возможных ранжировок, т. е. 373 248 000, т. к. число = 3(6 + 1) = 21 нечетно. В то же время для число возможных ненулевых значений, как следует из расчетов, не включает нечетные числа. Это означает, что коэффициент ведет себя регулярнее, чем W. Анализ данного вопроса, в том числе и числа возможных ненулевых значений при различных значениях n и N, требует самостоятельных исследований. Асимптотическое поведение альтернативного коэффициента конкордации Рассмотрим поведение коэффициента при больших значениях n и N. В соответствии с рекомендациями, приведенными в [2] для классического коэффициента конкордации W, значение практически совпадает со своим предельным распределением уже при и . Исходя из этого, нами сделано предположение, что при указанных условиях альтернативный коэффициент конкордации также будет близок к своему асимптотическому распределению. К сожалению, проверить данный факт экспериментально на основе точных расчетов пока не удалось ввиду огромного количества вычислений – оценка числа требуемых итераций для n = 10 и N = 5 приведена выше. Для асимптотического анализа преобразуем его следующим образом. Имеем ( – числитель ): Поскольку , то последнее выражение можно переписать в виде Отсюда, в частности, после деления обеих частей на N2 (n3 – n)/12, выводим соотношение, описывающее взаимосвязь классического и альтернативного коэффициентов конкордации: (2) Известно [1, с. 146], что величина при асимптотически эквивалентна -распределению с (n – 1) степенями свободы. Далее, для анализа асимптотического поведения при второго слагаемого в правой части (2) , воспользуемся следующим результатом, приведенным в [5, с. 275–276]. Пусть заданы независимые, одинаково распределенные случайные величины с функцией распределения ; – соответствующие порядковые статистики. Задана величина . Тогда при некоторых дополнительных ограничениях случайная величина асимптотически нормальна , где . Для того чтобы воспользоваться приведенным результатом, введем следующие обозначения: для всех и , т. е. принимает значения вида в интервале (0, 1]. Далее, и – вариационный ряд; тогда и . С учетом введенных обозначений величина может быть записана в виде , где . Отметим, что при функция . Найдем распределение случайных величин . Функция распределения случайной величины равна (0 < x < 1): – функция равномерного распределения на интервале (0, 1]. Поскольку исследуется поведение при , то далее вместо будем использовать равномерное распределение; тогда является суммой N независимых равномерных на (0, 1] распределений (следовательно, )), и, значит, в силу [6, c. 42], справедливо соотношение , где для любого числа a. На основе приведенного выше результата выводим: при справедливо асимптотическое соотношение , (3) где имеет нормальное распределение , , , , а выражение для приведено в (2). На основе (2) и (3) получаем (4) при больших n. Соотношение (4) является основой для проверки значимости альтернативного коэффициента конкордации аналогично тому, как проверяется значимость классического коэффициента. Отметим, что соотношение (4) справедливо для любого числа экспертов N. При больших значениях N величины асимптотически нормальны как суммы независимых случайных величин, что также позволяет упростить соотношение (4). Более детально перечисленные вопросы предполагается рассмотреть в последующих работах. Заключение Таким образом, в работе получены следующие результаты. 1. Разработан алгоритм перебора всех возможных перестановок рангов, на основе которого проведены расчеты, показывающие возможность формирования таблиц значений альтернативного коэффициента конкордации для малых значений n (n < 10) при малых значениях N. 2. Сформирована общая процедура проверки значимости альтернативного коэффициента конкордации. Ее детализацию до уровня конкретных процедур проверки предполагается выполнить в последующих работах. Приведенные результаты позволят повысить эффективность принятия решений при проведении экспертных процедур.
1. Makarov I. M. Teoriya vybora i prinyatiya resheniy: ucheb. posobie / I. M. Makarov, T. M. Vinogradskaya, A. A. Rubchinskiy, V. B. Sokolov. M.: Nauka, 1982. 328 s.
2. Kendal M. Rangovye korrelyacii / M. Kendal. M.: Statistika, 1975. 216 s.
3. Popov G. A. Al'ternativnyy variant koefficienta konkordacii / G. A. Popov, E. A. Popova // Vestn. Astrahan. gos. tehn. un-ta. Ser.: Upravlenie, vychislitel'naya tehnika i informatika. 2013. № 2. S. 158-167.
4. Novikov F. A. Diskretnaya matematika dlya programmistov / F. A. Novikov. SPb.: Piter, 2001. 304 s.
5. Devid G. Poryadkovye statistiki / G. Devid. M.: Nauka, 1979. 336 s.
6. Feller V. Vvedenie v teoriyu veroyatnostey i ee prilozheniya / V. Feller. T. 2. M.: Mir, 1984. 752 s.
