ASSESSMENT OF COMPETENCE OF HIGHER EDUCATIONAL INSTITUTION GRADUATES OF THE PREPARATION DIRECTION "INFORMATION SECURITY" ON THE BASIS OF FUZZY COGNITIVE APPROACH
Authors:
1.
Astrakhan State University
2.
Astrakhan State University
3.
Astrakhan State Technical University
4.
Astrakhan State Technical University
(Candidate of of Sciences in Technology, Assistant Professor; Head of the Department of Information Security)
Type:
Article
Pages:
from 115
to 124
Status:
Published
Received:
05.01.2017
Accepted:
25.01.2017
Published:
25.01.2017
Subject area:
VAC 05.12.2013 Системы, сети и устройства телекоммуникаций
VAC 05.13.01 Системный анализ, управление и обработка информации (по отраслям)
VAC 05.13.06 Автоматизация и управление технологическими процессами и производствами (по отраслям)
VAC 05.13.10 Управление в социальных и экономических системах
VAC 05.13.18 Математическое моделирование, численные методы и комплексы программ
VAC 05.13.19 Методы и системы защиты информации, информационная безопасность
UDK [378.147:004]:331.156
GRNTI 20.01 Общие вопросы информатики
GRNTI 28.01 Общие вопросы кибернетики
GRNTI 49.01 Общие вопросы связи
GRNTI 50.01 Общие вопросы автоматики и вычислительной техники
GRNTI 82.01 Общие вопросы организации и управления
VAC 05.13.01 Системный анализ, управление и обработка информации (по отраслям)
VAC 05.13.06 Автоматизация и управление технологическими процессами и производствами (по отраслям)
VAC 05.13.10 Управление в социальных и экономических системах
VAC 05.13.18 Математическое моделирование, численные методы и комплексы программ
VAC 05.13.19 Методы и системы защиты информации, информационная безопасность
UDK [378.147:004]:331.156
GRNTI 20.01 Общие вопросы информатики
GRNTI 28.01 Общие вопросы кибернетики
GRNTI 49.01 Общие вопросы связи
GRNTI 50.01 Общие вопросы автоматики и вычислительной техники
GRNTI 82.01 Общие вопросы организации и управления
Language:
Russian
Keywords:
competence, discipline, problem, fuzzy cognitive modeling, linguistic variable, specialist of information security, information security
Abstract (English):
The proposed method of assessment of competence of higher educational institution graduates developed on the example of the preparation direction "Information Security" takes into account the following peculiarities of the problem: the incompleteness and uncertainty of information about the skills and knowledge of graduates; multicriteria of the problems caused by the need to allow a large number of partial indicators relating to educational activities and the formation of competencies; availability of both quantitative and qualitative indicators to be taken into account when assessing the level of competence. Fuzzy cognitive model, which consists of five levels, has been developed. The input model provides data about the level of implementation of the tasks assigned to graduate. The output model is the level of competence of a graduate. The developed method can be used in any Higher Educational Institutions to assess the graduate’s competence of different direction and specialties by changing concepts and inter-level relations of developed fuzzy cognitive model.
The proposed method of assessment of competence of higher educational institution graduates developed on the example of the preparation direction "Information Security" takes into account the following peculiarities of the problem: the incompleteness and uncertainty of information about the skills and knowledge of graduates; multicriteria of the problems caused by the need to allow a large number of partial indicators relating to educational activities and the formation of competencies; availability of both quantitative and qualitative indicators to be taken into account when assessing the level of competence. Fuzzy cognitive model, which consists of five levels, has been developed. The input model provides data about the level of implementation of the tasks assigned to graduate. The output model is the level of competence of a graduate. The developed method can be used in any Higher Educational Institutions to assess the graduate’s competence of different direction and specialties by changing concepts and inter-level relations of developed fuzzy cognitive model.
Keywords:
competence, discipline, problem, fuzzy cognitive modeling, linguistic variable, specialist of information security, information security
competence, discipline, problem, fuzzy cognitive modeling, linguistic variable, specialist of information security, information security
Введение Состояние проблемы. Подготовка высококвалифицированных кадров в различных областях и сферах является одним из основных направлений государственной политики Российской Федерации. Федеральными государственными образовательными стандартами высшего (высшего профессионального) образования определены общекультурные, профессиональные, общепрофессиональные компетенции, которыми должен обладать выпускник в результате освоения им образовательной программы. Например, в [1] определены общекультурные, профессиональные компетенции, которыми должен обладать выпускник в результате освоения программы бакалавриата по направлению подготовки 10.03.01 Информационная безопасность. Так, выпускник должен: 1. Обладать такими общекультурными компетенциями (ОК), как: - способность осознавать необходимость соблюдения Конституции Российской Федерации, прав и обязанностей гражданина своей страны, гражданского долга и проявления патриотизма (ОК-1); - способность осуществлять свою деятельность в различных сферах общественной жизни с учетом принятых в обществе моральных и правовых норм (ОК-2); - способность уважительно и бережно относиться к историческому наследию и культурным традициям, толерантно воспринимать социальные и культурные различия (ОК-3); - способность понимать и анализировать политические события, мировоззренческие, экономические и социально значимые проблемы и процессы, применять основные положения и методы социальных, гуманитарных и экономических наук при решении социальных и профессиональных задач (ОК-4) и т. д. 2. Обладать такими профессиональными компетенциями (ПК), как: - способность использовать основные естественнонаучные законы, применять математический аппарат в профессиональной деятельности, выявлять сущность проблем, возникающих в ходе профессиональной деятельности (ПК-1); - способность понимать сущность и значение информации в развитии современного общества, применять достижения информатики и вычислительной техники, перерабатывать большие объемы информации, проводить целенаправленный поиск в различных источниках информации по профилю деятельности, в том числе в глобальных компьютерных системах (ПК-2); - способность использовать нормативные правовые документы в своей профессиональной деятельности (ПК-3); - способность формировать комплекс мер по информационной безопасности с учетом его правовой обоснованности, административно-управленческой и технической реализуемости и экономической целесообразности (ПК-4); - способность организовывать и поддерживать выполнение комплекса мер по информационной безопасности, управлять процессом их реализации с учетом решаемых задач и организационной структуры объекта защиты, внешних воздействий, вероятных угроз и уровня развития технологий защиты информации (ПК-5) и т. д. Существует также проект Федерального государственного образовательного стандарта высшего образования (ФГОС ВО) [2], в котором определены, помимо общекультурных и профессиональных компетенций, общепрофессиональные компетенции для выпускников направления подготовки 10.03.01. В соответствии с данным проектом стандарта, выпускник, освоивший программу бакалавриата, должен обладать следующими общепрофессиональными компетенциями (ОПК): - способностью анализировать физические процессы и явления и применять соответствующий физико-математический аппарат для решения профессиональных задач (ОПК-1); - способностью применять соответствующий математический аппарат для решения профессиональных задач (ОПК-2); - способностью применять положения в области электротехники, электроники и схемотехники для решения профессиональных задач (ОПК-3); - способностью понимать сущность и значение информации в развитии современного общества, решать стандартные задачи профессиональной деятельности на основе информационной и библиографической культуры с применением информационно-коммуникационных технологий (ОПК-4) и т. д. Однако в стандартах не приведены методики и не указаны подходы к оценке компетенций выпускника и уровня его компетентности целом. Традиционно оценка компетентности выпускников осуществляется на основе текущей, промежуточной и итоговой государственной аттестации, которая должна проводиться при помощи фондов оценочных средств, которые включают типовые задания, контрольные работы, тесты и др. [3], позволяющие оценить знания, умения и уровень владения приобретенными компетенциями. При этом уровень владения той или иной компетенцией определяется преподавателями на основании субъективных суждений. Однако данный подход имеет существенные недостатки. Например, при проведении традиционной оценки очень сложно определить уровень владения выпускником отдельной компетенцией, вклад в которую вносят различные дисциплины. Некоторые исследователи, например авторы работ [4-6], строят количественные модели оценки компетентности, однако не учитывают, что некоторые элементы их модели сложно оценить численно. Встречаются работы (например, [7]), в которых приводятся данные самооценки компетентности выпускников. Однако самооценка может давать неточные данные: степень объективности самооценки очень низкая, поскольку часто встречаются выпускники с завышенной или заниженной самооценкой. Популярным подходом является разработка методик оценки компетентности выпускников на основе гибридных экспертных систем. Так, например, в [8] предложена 4-уровневая модель оценки, включающая уровень частных компетенций, уровень промежуточных компетенций, уровень обобщающих компетенций, уровень интегральной компетентности. К достоинствам построенной модели можно отнести возможность оценки как частных компетенций, изложенных в ФГОС, так и интегрального показателя компетентности, возможность использования как количественной, так и качественной информации. Однако и такая модель не свободна от недостатков. Уровень сформированности частных компетенций оценивается при помощи метода многомерной классификации на основе первичных учетных показателей, в качестве которых могут быть использованы результаты аттестации студентов и выпускников. Данный метод сложнореализуем на практике и требует больших трудозатрат. Кроме того, данный подход не позволяет учесть различный уровень влияния первичных учетных показателей на частную компетенцию. Таким образом, не существует методики, которая полностью решала бы поставленную задачу. Именно поэтому целью исследования являлось описание разработанной нами методики оценки компетентности выпускника, которая учитывает следующие особенности решаемой задачи: - неполнота и неопределенность информации об умениях, навыках и знаниях выпускника; - многокритериальность, связанная с необходимостью учета большого числа частных показателей, связанных с учебной деятельностью и формированием компетенций. - наличие как количественных, так и качественных показателей, которые необходимо учитывать при решении задачи оценки уровня компетентности. Одним из эффективных способов решения слабоформализуемых задач является построение нечетких когнитивных моделей, неоспоримыми достоинствами которых по сравнению с другими методами являются возможность формализации численно неизмеримых факторов, использования неполной, нечеткой и даже противоречивой информации [9]. Постановка и решение задачи Построим методику оценки уровня компетентности, основанную на применении когнитивного моделирования, теории нечетких множеств и отношениях предпочтения между различными критериями. В качестве модели процесса оценки компетентности выпускника примем кортеж COM = , где G - ориентированный граф, не содержащий горизонтальных ребер в пределах одного уровня иерархии (рис.); QL - набор качественных оценок уровней каждого фактора в графе; S - множество весов ребер графа G, отражающих степень влияния концептов на заданный элемент следующего уровня иерархии; R - набор правил для вычисления значений концептов на каждом из уровней иерархии G; W - индекс схожести, характеризующий степень соответствия значения фактора той или иной качественной оценке из терм-множества лингвистической переменной QL. Нечеткая когнитивная модель оценки компетентности выпускника На вершине графа G находится показатель К0, отражающий общую компетентность специалиста по защите информации. На первом уровне находятся интегральные показатели частных компетенций: ОК0 - интегральный показатель общекультурных компетенций; ОПК0 - интегральный показатель общепрофессиональных компетенций; ПК0 - интегральный показатель профессиональных компетенций. Если методика оценки применяется для направлений подготовки, образовательный стандарт которых не предусматривает наличие общепрофессиональных компетенций (например, [1]), необходимо исключить соответствующую ветвь модели. На втором уровне находятся частные общекультурные - {ОКl}, общепрофессиональные - {ОПКi}, профессиональные - {ПКj} компетенции, описанные в образовательном стандарте. На третьем уровне находятся дисциплины - {Дz}, которые формируют компетенции, находящиеся на первом уровне. Наличие связей между дисциплинами и компетенциями определяется кафедрами посредством составления аннотации программ учебных дисциплин. Например, для направления «Информационная безопасность» иностранный язык может формировать следующие компетенции: способность к письменной и устной деловой коммуникации, к чтению и переводу текстов по профессиональной тематике на одном из иностранных языков (ОК-8), способность к самоорганизации и самообразованию (ОК-9), способность понимать сущность и значение информации в развитии современного общества, решать стандартные задачи профессиональной деятельности на основе информационной и библиографической культуры с применением информационно-коммуникационных технологий (ОПК-4). Перечень дисциплин, необходимых для изучения студентом, приведен в образовательном стандарте, используемом в учебном процессе. На нижнем, четвертом уровне располагаются задачи - {Зk}, поставленные перед студентами в рамках дисциплины. Задачи формируются руководством кафедры на основании личного опыта и требований, приведенных в образовательных стандартах. Например, перед студентами направления «Информационная безопасность» в рамках дисциплины «Основы информационной безопасности» могут быть поставлены следующие задачи: изучить основы организационно-правового обеспечения защиты информации; изучить основы программно-аппаратного обеспечения защиты информации; изучить основы инженерно-технического обеспечения защиты информации; овладеть навыками определения информации, подлежащей защите, актуальных угроз информационной безопасности для организаций различного профиля деятельности; научиться определять методы и пути реализации угроз на основе анализа объекта информатизации и т. д. Для описания состояния концептов графа G определим лингвистическую переменную «Уровень фактора» и терм-множество ее значений QL, состоящее из 5 элементов: В качестве семейства функций принадлежности для QL используем пятиуровневый классификатор, в котором функциями принадлежности нечетких чисел, заданных на отрезке [0, 1] R, являются трапеции: {XX (а1, а2, а3, а4)}, где а1 и а4 - абсциссы нижнего, а2 и а3 - абсциссы верхнего основания трапеции. Применение классификатора позволяет перейти от качественного описания уровня параметра к стандартному количественному виду соответствующей функции принадлежности из множества нечетких трапецеидальных чисел. Вычисление текущих значений факторов в графе G предлагается производить по приведенным ниже формулам (1)-(8): (1) где - z-я дисциплина; - k-я задача, решаемая в рамках дисциплины ; n - количество задач , решаемых в рамках дисциплины ; - коэффициент влияния на , , отражает приоритетность поставленных перед студентами задач в рамках текущей дисциплины. (2) где ОПКi - i-я общепрофессиональная компетенция; Дz - z-я дисциплина;m - количество дисциплин, влияющих на ОПКi; - коэффициент влияния Дz на ОПКi, , отражает вес каждой дисциплины в формировании i-й общепрофессиональной компетенции. (3) где ОКl - l-я общекультурная компетенция; Дz - z-я дисциплина; u - количество дисциплин, влияющих на ОКl; - коэффициент влияния Дz на ОКl, , отражает вес каждой дисциплины в формировании l-й общекультурной компетенции. (4) где - j-я профессиональная компетенция; Дz - z-я дисциплина; t - количество дисциплин, влияющих на ; - коэффициент влияния Дz на ,, отражает вес каждой дисциплины в формировании j-й профессиональной компетенции. (5) где - интегральный показатель общепрофессиональных компетенций; - i-я общепрофессиональная компетенция; f - количество общепрофессиональных компетенций; - коэффициент влияния на отражает вклад каждой общепрофессиональной компетенции в интегральный показатель . (6) где - интегральный показатель общекультурных компетенций; - l-я общекультурная компетенция; g - количество общекультурных компетенций; - коэффициент влияния на , , отражает вклад каждой общекультурной компетенции в интегральный показатель . (7) где - интегральный показатель профессиональных компетенций; - j-я профессиональная компетенция; h - количество профессиональных компетенций; - коэффициент влияния на , отражает вклад каждой профессиональной компетенции в интегральный показатель . (8) где - общая компетентность специалиста по защите информации; - коэффициент влияния на; - коэффициент влияния на ; - коэффициент влияния на ; Применение аддитивных свёрток в формулах обусловлено тем, что уменьшение оценки по одному критерию может быть компенсировано увеличением оценки по другому критерию (или нескольким критериям), и это полностью отвечает предметной области задачи. В результате вычислений по приведенным выше формулам получаются нечеткие числа. Их необходимо распознать. Для этого нужен индекс схожести. Индекс схожести W двух нечетких чисел A (а1, а2, а3, а4) и B (b1, b2, b3, b4) c соответствующими функциями принадлежности mА(x) и mВ(x) находится по формулам из [9]: , где ; rout представляет собой площадь нечеткого числа B(b1, b2, b3, b4), лежащую вне эталонного нечеткого числа A(а1, а2, а3, а4); rin - площадь, лежащая внутри этого же нечеткого числа. Алгоритм оценки уровня компетентности выпускника включает в себя следующие подготовительные этапы: 1. Задание множеств {ОКl},{ОПКi},{ПКj}, {Дz}, {Зk}, которые формируют уровни графа G. 2. Определение наличия/отсутствия связей между концептами графа G. 3. Задание коэффициентов влияния, приведенных в формулах (1)-(8). Данные действия осуществляются преподавателями кафедры на основании образовательного стандарта, учебного плана, аннотаций программ учебных дисциплин и личного профессионального опыта сотрудников. При этом следует обратить внимание на то, что значения коэффициентов влияния подвергаются изменениям в зависимости от цели проведения оценки: определение компетентности выпускника в целом как специалиста по рассматриваемому направлению либо определение компетентности выпускника как специалиста в конкретной области (например, для специалиста по информационной безопасности можно выделить следующие направления: сети, связь, криптография и т. д.) или сфере (государственная служба, бизнес и т. д.). Для непосредственной оценки уровня компетентности выпускника лицу, принимающему решения, необходимо определить уровень выполнения поставленных перед выпускником задач и далее произвести расчет по формулам (1)-(8). Расчетный пример Рассмотрим упрощенный пример оценки компетентности выпускника в соответствии с [1]. Пусть степень влияния ОК0, ПК0 и ОПК0 на К0 составляет 0,3; 0,4; 0,3 соответственно. К концу обучения выпускник должен обладать 4-мя компетенциями: - способность понимать социальную значимость своей будущей профессии, цели и смысл государственной службы, обладать высокой мотивацией к выполнению профессиональной деятельности в области обеспечения информационной безопасности и защиты интересов личности (ОК-5); - способность определять виды и формы информации, подверженной угрозам, виды и возможные методы и пути реализации угроз на основе анализа структуры и содержания информационных процессов предприятия, целей и задач деятельности объекта защиты (ОПК-7); - способность проводить анализ информационной безопасности объектов и систем на соответствие требованиям стандартов в области информационной безопасности (ПК-12); - способность выполнять работы по установке, настройке и обслуживанию программных, программно-аппаратных, криптографических и технических средств защиты информации (ПК-1); Степень влияния ПК-1 и ПК-12 на интегральный показатель профессиональных компетенций составляет 0,4 и 0,6 соответственно. В рамках учебного процесса студенту читалось 2 дисциплины: «Основы информационной безопасности» и «Безопасность сетей ЭВМ». Первая дисциплина формирует следующие компетенции - ОК-5, ОПК-7, ПК-12, вторая - ОПК-7, ПК-1. Вклад дисциплин в формирование компетенции ОПК-7 составляет 0,6 и 0,4 соответственно. В рамках дисциплины «Основы информационной безопасности» поставлены следующие задачи: изучить основы организационно-правового обеспечения защиты информации; изучить основы программно-аппаратного обеспечения защиты информации; изучить основы инженерно-технического обеспечения защиты информации; овладеть навыками определения информации, подлежащей защите, актуальных угроз информационной безопасности для организаций различного профиля деятельности. Коэффициенты влияния каждой задачи на уровень освоения дисциплины составляют 0,4; 0,2; 0,2; 0,2 соответственно. В рамках дисциплины «Безопасность сетей ЭВМ» поставлены следующие задачи: изучить основы построения локальных вычислительных сетей; изучить программно-аппаратные способы защиты локальных сетей на уровне отдельного персонального компьютера; изучить программно-аппаратные способы защиты локальных сетей на уровне коммутаторов и маршрутизаторов. Коэффициенты влияния каждой задачи на уровень освоения дисциплины составляют 0,4; 0,3; 0,3 соответственно. Пусть во время обучения преподавателями уровни выполнения задач студентом были оценены следующим образом: - изучить основы организационно-правового обеспечения защиты информации - «Средний»; - изучить основы программно-аппаратного обеспечения защиты информации - «Выше среднего»; - изучить основы инженерно-технического обеспечения защиты информации - «Средний»; - овладеть навыками определения информации, подлежащей защите, актуальных угроз информационной безопасности для организаций различного профиля деятельности - «Ниже среднего»; - изучить основы построения локальных вычислительных сетей - «Выше среднего»; - изучить программно-аппаратные способы защиты локальных сетей на уровне отдельного персонального компьютера - «Средний»; - изучить программно-аппаратные способы защиты локальных сетей на уровне коммутаторов и маршрутизаторов - «Высокий». Оценим общий уровень компетентности студента: 1. Уровни освоения дисциплин. Уровни освоения дисциплин рассчитываются по формуле (1). Уровень освоения дисциплины «Основы информационной безопасности» будет равен Уровень освоения дисциплины «Безопасность сетей ЭВМ» будет равен 2. Уровни освоения частных компетенций. Поскольку на компетенции ОК-5, ПК-1, ПК-12 влияет по одной дисциплине, уровень их освоения будет равен уровню усвоения соответствующих дисциплин. Таким образом, уровень освоения ОК-5, ПК-12 будет иметь значение «Средний»; уровень освоения ПК-1 - «Выше среднего». Уровень освоения ОПК-7 равен 0,6 «Средний» + 0,4 «Выше среднего» = «Средний» 3. Уровни освоения интегральных показателей компетенций. Поскольку на ОК0 и ОПК0 влияет по одной частной компетенции, то уровень их освоения будет равен уровню освоения соответствующих частных компетенций. Таким образом, уровень освоения ОК0 и ОПК0 будет иметь значение «Средний». Уровень освоения ПК0 в соответствии с формулой (7) будет равен 0,4 ∙ «Выше среднего» + 0,6 «Средний» = «Выше среднего» 4. Уровень компетентности выпускника. Уровень компетентности выпускника в соответствии с формулой (1) будет равен 0,4∙«Выше среднего» + 2∙0,3 «Средний» = «Средний» . Таким образом, общий уровень компетентности выпускника можно оценить как «Средний». Все расчеты с нечеткими числами проводились с помощью программного продукта [10]. Заключение Методика оценки компетентности выпускников направления 10.03.01 Информационная безопасность, разработанная на основе нечеткого когнитивного подхода, позволяет учесть слабую формализуемость задачи. В настоящее время методика проходит апробацию в Астраханском государственном университете на кафедре информационной безопасности.
1. Federal'nyy gosudarstvennyy obrazovatel'nyy standart vysshego professional'nogo obrazovaniya po napravleniyu podgotovki 090900 Informacionnaya bezopasnost' (kvalifikaciya (stepen') «bakalavr»): utverzhden Prikazom Ministerstva obrazovaniya i nauki Rossiyskoy Federacii ot 28 oktyabrya 2009 g. № 496. URL: http://minobrnauki.rf/dokumenty/1939 (data obrascheniya: 28.09.2016).
2. Proekt Federal'nogo gosudarstvennogo obrazovatel'nogo standarta vysshego obrazovaniya po napravleniyu podgotovki 10.03.01 Informacionnaya bezopasnost'. URL: http://regulation.gov.ru/projects (data obrascheniya: 28.09.2016).
3. Kosmacheva I. M., Davidyuk N. V., Sibikina I. V. O sovershenstvovanii obucheniya specialistov po informacionnoy bezopasnosti v sovremennyh usloviyah // Materialy Chetvertoy Vseros. nauch.-prakt. konf. «Nauka, obrazovanie, innovacii: puti razvitiya». Petropavlovsk-Kamchatskiy: Izd-vo KGTU. S. 221-227.
4. Sibikina I., Kvyatkovskaya I., Kosmacheva I., Lezhnina Y. The Calculation Procedure of Competence Completeness // Some Challenges for KBSE. Proceedings 11th joint conference on knowledge-based software engineering (JCKBSE 2014, Volgograd, Russia). Volgograd: VolGTU, 2014. S. 134-143.
5. Sibikina I. V., Kvyatkovskaya I. Yu., Kosmacheva I. M. Ocenka urovnya sformirovannosti kompetencii studenta vuza na primere grafovoy modeli // Vestn. Saratov. gos. tehn. un-ta. 2014. № 2. S. 179-185.
6. Adol'f V. A., Luk'yanenko M. V., Churlyaeva N. P. Kolichestvennaya ocenka kompetentnosti vypusknikov integrirovannoy sistemy obucheniya i vozmozhnosti ee povysheniya // Pedagogicheskoe obrazovanie i nauka. 2011. № 11. S. 22-30.
7. Grishina E. A. Ocenka urovnya sformirovannosti professional'noy kompetentnosti vypusknikov-psihologov v prakticheskoy deyatel'nosti // Vestn. Cherepoveck. gos. un-ta. 2008. № 1. S. 131-135.
8. Algazin G. I., Chudova O. V. Informacionnye tehnologii kompleksnoy ocenki kompetentnosti vypusknika vuza // Vestn. Novosibirsk. gos. un-ta. Ser.: Informacionnye tehnologii. 2009. T. 7, № 3. S. 70-78.
9. Azhmuhamedov I. M., Protalinskiy O. M. Sistemnyy analiz i modelirovanie slabo strukturirovannyh i ploho formalizuemyh processov v sociotehnicheskih sistemah // Inzhener. vestn. Dona. URL: http://www.ivdon.ru/magazine/archive/n3y2012/916 (data obrascheniya: 28.09.2016).
10. Azhmuhamedov I. M., Kolesova N. A. Vychisleniya s nechetkimi chislami: Svidetel'stvo o gos. registracii programm dlya EVM № 2011614482; zayavka № 2011612617; zaregistr. v reestre programm dlya EVM 07.07.2011.
