Abstract and keywords
Abstract (English):
The article presents the method "Inspector" to be adapted for assessment of the levels of quality of data processing systems in universities. Included into the methodology fuzzy cognitive models of determining the required, estimating the current and "forecasted" levels of quality of data processing systems, as well as corresponding algorithms allow evaluating the system at the design stage and operation stage on the basis of expert information. Using the complex criterion of quality assessment makes it possible to increase the informativeness of the assessment, which, in turn, increases the efficiency of quality of data processing systems. Adapting methodology to the peculiarities of functioning of universities includes defining the main functions of the evaluated data processing systems; defining the elements of the sets of concepts of fuzzy cognitive models used in the methodology; verifying the existence of links between concepts of fuzzy cognitive models; filling the knowledge base necessary to assess the current level of information security of the data processing system. The methodology was approved in one of the leading higher educational institutions of the Volga region for assessment of the data processing system "Deccan". To adapt the methodology and directly assess the quality and information security of the data processing system, an expert commission was assembled, consisting of IT staff of the university, professors of profile departments of the university, employees of the dean's office. The work of the commission was organized through meetings. Discussion of each issue lasted until the experts made an agreed decision. According to the data obtained after application of the methodology, there were taken measures to elevate quality of the Deccan system to the level "above average". Approbation of the method "Inspector" showed its applicability for assessing the quality of data processing systems of universities.

Keywords:
data processing systems, quality of systems, quality assessment criterion, reliability of data processing systems, information security, fuzzy cognitive modeling
Text
Введение Системы обработки данных (СОД) стали неотъемлемой частью высших учебных заведений. Информатизация находит свое место и в управлении персоналом, и в сервисном облуживании: создаются локально-вычислительные сети, в которых циркулирует служебная информация, внедряются собственные почтовые, FTP-серверы, автоматизируется процесс приемки заявок отделами по техническому облуживанию, внедряются методы удаленного администрирования. Автоматизация работы структурных подразделений вуза позволяет сократить время, затрачиваемое на выполнение сопровождающих задач (создание ведомостей, учебных планов, рабочих программ, учет посещаемости, создание расписаний и т. д.), уменьшить количество ошибок, связанных с человеческим фактором, оптимизировать процесс принятия решений руководством вуза и др. [1-3]. При этом СОД должна отвечать различным и, в общем случае, противоречивым требованиям: быть надежной, обеспечивать защиту обрабатываемой информации, быть недорогой в эксплуатации и т. д. Согласно ГОСТ ISO 9000-2011, степень соответствия характеристик СОД тем требованиям, которые установило лицо, принимающее решения (ЛПР), образует качество системы. Однако оценка качества СОД осложняется наличием у вуза как объекта информатизации специфических особенностей: - большое количество СОД, внедренных для решения различных задач, а также обрабатываемой информации, связанной не только с обеспечением учебного процесса, но и с научно-исследовательскими и проектно-конструкторскими разработками; - территориальная разрозненность СОД, связанная с наличием в вузе филиалов и корпусов, между которыми должно быть настроено информационное взаимодействие; - непостоянная аудитория (меняющийся контингент студентов, абитуриентов и других посетителей вуза). Использование в высших учебных заведениях СОД несоответствующего, «низкого» качества, связанного в том числе с невыполнением требований по защите обрабатываемой информации, приводит к существенному снижению эффективности работы структурных подразделений вуза, снижению лояльности сотрудников, формированию негативного имиджа заведения и пр. В связи с этим оценка качества СОД для высших учебных заведений является актуальной задачей. С учетом вышесказанного нами была сформулирована цель исследования: подобрать методику оценки качества СОД и адаптировать ее с учетом особенностей функционирования вузов. Состояние проблемы Исследованиям в области оценки и управления качеством СОД посвящено большое количество работ российских и зарубежных авторов. Разработаны общие принципы, методы и методологии оценки и управления качеством для отдельных видов систем (например, [4, 5]). Имеются исследования, посвященные разработке универсальных методик оценки качества (например, [6, 7]). Ряд работ посвящен отдельным составляющим показателя «Качество информационной системы»: информационной безопасности (например, [8, 9]); надежности (например, [10]); социально-экономическому эффекту (например, [11, 12]). Однако существующие подходы не в полной мере учитывают слабую формализуемость процесса оценки. К их недостаткам относится также несоответствие мировой тенденции к стандартизации в области управления качеством в целом, связанной с принятием стандартов серии ISO 9000, в которых не только приведено общее определение термина «Качество объекта», но и описаны классы показателей, влияющих на него. Вводимые авторами работ [4-12] составляющие качества либо полностью не соответствуют данным классам, либо не охватывают особо значимые из них (например, связанные с информационной безопасностью, здоровьем персонала и пр.). Решения, полностью посвященные оценке отдельных показателей, также имеют свои недостатки. Например, существующие методики оценки уровня информационной безопасности не соответствуют ГОСТ Р ИСО/МЭК 27000 в части обеспечения непрерывности процесса управления информационной безопасностью. На основе информации, полученной в результате применения данных методик, затруднительно проводить целенаправленные мероприятия по повышению уровня информационной безопасности. От указанных недостатков свободна методика оценки качества СОД, получившая название «Ревизор» [13-16]. Методика позволяет проводить оценку качества СОД на различных этапах ее жизненного цикла на основе экспертных данных и вырабатывать управляющие решения по повышению качества СОД. Подход к оценке качества СОД на основе вычисления ключевых показателей качества системы по каждой функции СОД, предложенный в рамках методики «Ревизор» [13-16], а также выделение информационной безопасности в отдельную независимую функцию системы позволяют применять методику для оценки качества СОД в организациях различных отраслей. Однако для этого она должна быть адаптирована к их особенностям. Должны быть определены основные функции оцениваемой СОД (это необходимо для оценки валидности и надежности СОД); определены элементы множеств концептов нечетких когнитивных моделей (НКМ), применяемых в методике (например, перечень актуальных угроз для СОД, уязвимостей системы); оценены связи между концептами НКМ; заполнены базы знаний, необходимые для оценки текущего уровня информационной безопасности СОД. Основные положения методики «Ревизор» Для решения задачи оценки качества СОД в методике «Ревизор» использован аппарат нечеткого когнитивного моделирования. Для формализации оценок отдельных составляющих качества введена лингвистическая переменная «Уровень фактора» и терм-множество ее значений QL, состоящее из 9 элементов, принадлежащих отрицательной и положительной области оценок: QL = {Высокий отрицательный (В-); Выше среднего отрицательный (ВС-); Средний отрицательный (С-); Низкий отрицательный (Н-); Нулевой (0); Низкий положительный (Н+); Средний положительный (С+); Выше среднего положительный (ВС+); Высокий положительный (В+)}. В качестве семейства функций принадлежности для QL предложено использовать девятиуровневый классификатор, в котором функциями принадлежности нечетких чисел (НЧ), заданных на отрезке [-1, 1] ϵ R, являются трапеции: {В-(-1; -1; -0,85; -0,75); ВС-(-0,85; -0,75; -0,65; -0,55); С-(-0,65; -0,55; -0,45; -0,35); Н-(-0,45; -0,35; -0,25; -0,15); «0»(-0,25; -0,15; 0,15; 0,25); Н+(0,15; 0,25; 0,35; 0,45); С+(0,35; 0,45; 0,55; 0,65); ВС+(0,55; 0,65; 0,75; 0,85); В+(0,75; 0,85; 1)}, где в НЧ(а1, а2, а3, а4) а1 и а4 - абсциссы нижнего основания трапеции; а2 и а3 - абсциссы верхнего основания. В случае четкого числа а1 = а2 = а3 = а4. Отрицательная часть классификатора используется для нахождения отклонений полученных оценок уровня качества СОД от требуемых. В основу методики положен комплексный критерий оценки качества СОД, отражающий совокупное влияние различных групп показателей, которые соответствуют характеристикам качества, приведенным в стандартах серии ГОСТ ISO 9000 [17]: (1) где - соответственно коэффициенты влияния надежности (Safety), социально-экономического эффекта (Effect), затрат на владение (Cost), безопасности для персонала (Sec), адаптивности (Adap), интегрируемости (Int), целостности (Con), сложности (Com), структурированности (Str), лабильности (Lab), делимости (Div), валидности (Suit), информационной безопасности (IS) СОД на уровень качества (Quality). Методика включает следующие шаги: формирование требуемого, оценка «прогнозного» и текущего уровня качества и информационной безопасности СОД. Каждая из перечисленных процедур преследует различные цели, проводится на различных этапах жизненного цикла СОД и предполагает использование разных входных данных. На этапе проектирования/модернизации системы проводится формирование требуемого и оценка «прогнозного» уровня качества и информационной безопасности СОД. На этапе эксплуатации СОД проводится оценка «прогнозного» и текущего уровня качества СОД. Структура НКМ, используемых для указанных оценок качества СОД, имеет вид IS = = , где G - ориентированный граф, не содержащий горизонтальных ребер в пределах одного уровня иерархии (рис. 1); L - лингвистическая переменная, формализующая качественные (вербальные) оценки каждого фактора в графе; S - множество весов ребер графа G, отражающих степень влияния концептов на заданный элемент следующего уровня иерархии; R - набор правил для вычисления значений концептов на каждом из уровней иерархии G; W - индекс схожести [18], позволяющий распознавать лингвистические значения концептов. Рис. 1. Граф G: ИС - информационная система На самом высоком (нулевом) слое графа G находится показатель Quality - качество СОД, на первом - показатели, образующие комплексный критерий оценки качества, приведенные в формуле (1). Валидность системы определяется по каждой функции СОД Su{1, 2, 3 ...}. Социально-экономический эффект (уровень 1) СОД определяется через финансовые, организационные, социальные и другие показатели эксплуатации СОД. Затраты на владение СОД включают в себя эксплуатационные затраты - Using; затраты на восстановление/ремонт - Rehab; затраты на модификацию - Changing. Уровень надежности определяется через показатели безотказности - Rel, ремонтопригодности - Rep и долговечности - Dur системы. Уровень безотказности и ремонтопригодности определяется для каждой функции СОД Rl{1, 2, 3, …}, Rp{1, 2, 3, …}. Долговечность СОД определяется по среднему сроку службы каждой подсистемы СОД {Di}. Безопасность СОД для персонала определяется возможными негативными воздействиями «поврежденной» СОД на психическое и (или) физическое здоровье сотрудников - Inf{1, 2, 3, …}. Информационная безопасность определяется способностью СОД обеспечивать сервисы информационной безопасности Is{1, 2, 3, …}. Четвертый слой графа G представлен повреждениями элементов системы Des{1, 2, 3, …}, которые образуются в результате атак на информационные активы A{1, 2, 3, …}. Атаки являются результатом реализации угроз СОД UG{1, 2, 3, …} через уязвимости СОД UZ{1, 2, 3, …} (6-й слой графа G). Седьмой слой графа G представлен средствами защиты информации (СЗИ) Z{1, 2, 3, …}. Для формирования требуемого уровня качества СОД предложен следующий алгоритм. 1. Задать требуемый уровень показателей безотказности, ремонтопригодности, долговечности для каждой функции СОД, нормировать их к интервалу [0; 1] и вычислить результирующие значения данных показателей для системы в целом. Например, уровень безотказности вычисляется по формуле (2) где - уровень безотказности СОД по i-й функции, представляющий собой аддитивную свертку частных показателей безотказности, приведенных к интервалу [0; 1]; - коэффициент влияния на . 2. Вычислить уровень надежности СОД как аддитивную свертку частных критериев. 3. Задать требуемый уровень информационной безопасности, валидности, безопасности СОД для персонала в терминах лингвистической переменной «Уровень фактора». 4. Вычислить требуемый уровень социально-экономического эффекта от эксплуатации СОД на основе заданных значений его составляющих. 5. Рассчитать допустимый уровень затрат на владение СОД. 6. Задать требуемый уровень адаптивности, интегрируемости, лабильности, делимости СОД, общесистемных показателей СОД. 7. Вычислить требуемый уровень качества СОД. Для оценки «прогнозного» уровня качества СОД необходимо: 1. Оценить состояние СЗИ. Если Zi представляет собой комплекс отдельных мер, то ЛПР задает лингвистическую оценку , входящих в Zi. Состояние Zi в этом случае определяется на основе следующих правил: где Zi - текущее значение, отражающее состояние i-й «комплексной» меры; - j-я мера, входящая в i-ю «комплексную» меру; M - количество , образующих Zi; - коэффициент влияния на Zi. Если же Zi не представляется возможным рассматривать как совокупность отдельных мер, то ЛПР задает лингвистическую оценку непосредственно Zi. 2. Вычислить уровни опасности угроз, уязвимостей, «разрушительности» атак, повреждений элементов СОД и СЗИ и уровня информационной безопасности в целом. 3. Вычислить уровень безотказности, ремонтопригодности, долговечности и надежности СОД по формуле (2) с заменой требуемых значений показателей на фактические. 4. Вычислить уровень валидности и безопасности СОД для персонала. 5. Вычислить показатели социально-экономического эффекта от эксплуатации СОД и уровня затрат на владение СОД. 6. Оценить уровень адаптивности и интегрируемости СОД. 7. Вычислить «прогнозный» уровень качества СОД. После оценки «прогнозного» уровня качества СОД ЛПР принимает решение о целесообразности его повышения. Решение формируется на основе расчета величины абсолютного отклонения : , где - оцененный уровень качества СОД; - требуемый уровень. Величина является нечетким числом. Чтобы привести ее к количественному виду , необходимо провести процедуру дефаззификации. Для этого предлагается использовать метод центра тяжести, который заключается в расчете центроида трапеции: , где , ; - результат дефаззификации; a1 и a4 - абсциссы нижнего основания НЧ; - его функция принадлежности. Если величина отклонения находится в недопустимых, по мнению ЛПР, пределах, то принимается решение по повышению качества СОД. Управляющие воздействия вырабатываются путем имитационного моделирования, в процессе которого управляемые концепты модели подбираются таким образом, чтобы обеспечить достижение целевого уровня качества системы. Оценка текущего уровня качества СОД включает в себя оценку текущего уровня информационной безопасности, валидности, надежности системы; оценку текущего уровня затрат на владение и вычисление текущего уровня социально-экономического эффекта от эксплуатации СОД; вычисление текущего уровня безопасности для персонала; оценку текущего уровня адаптивности, интегрируемости, лабильности, делимости, общесистемных показателей; вычисление текущего уровня качества СОД. Следует отметить, что значения показателей вычисляются аналогично соответствующим параметрам алгоритма оценки «прогнозного» уровня качества системы. Решение о соответствии текущего уровня качества требуемому, так же как и «прогнозного», принимается на основе расчета величины абсолютного отклонения. Адаптация методики «Ревизор» для оценки качества систем обработки данных вуза В вузах можно выделить значительное количество СОД, предназначенных для автоматизации рабочих мест сотрудников структурных подразделений: приемная комиссия; деканаты; кафедры; учебно-методический отдел; бухгалтерия; отдел кадров; профсоюзный комитет и пр. [19]. Поскольку, как было сказано ранее, данные системы выполняют различные функции, часто территориально распределены и имеют свой специфический набор программного обеспечения, необходимо проводить оценку качества для каждой из них по отдельности. Рассмотрим адаптацию методики «Ревизор» на примере СОД «Деканат» одного из ведущих вузов Поволжья. Деканат является одним из важнейших структурных подразделений вуза. Для применения методики «Ревизор» прежде всего были разработаны рекомендации по формированию и работе экспертной комиссии: 1. Формирование экспертной группы. Экспертная группа должна иметь минимально необходимую с практической точки зрения численность для быстрого и эффективного использования ресурсов (как временных, так и материальных). В качестве экспертов рекомендуется привлекать специалистов, деятельность которых связана с обработкой информации в системе, а также специалистов, имеющих квалификацию и опыт работы в области применения информационных технологий и (или) в области защиты информации. Для оценки финансовых и экономических показателей функционирования СОД в экспертную группу могут быть включены представители таких подразделений, как бухгалтерия и (или) экономический отдел. При привлечении в качестве экспертов специалистов от подразделений по защите информации и обслуживанию ИТ-инфраструктуры организации рекомендуется отдавать предпочтение лицам, имеющим высшее образование или имеющим не менее трех лет стажа практической работы в сфере своей деятельности. Если информационную систему организации обслуживает аутсорсинговая компания, необходимо в экспертную комиссию включить тех ее специалистов, которые оказывали ИТ-услуги организации в течение последнего года. Эксперты должны обладать независимостью, основанной на отсутствии коммерческого и финансового интереса или другого давления, которое может оказать влияние на принимаемые решения. Не рекомендуется формировать экспертную группу из участников, находящихся в прямом подчинении, т. к. это может негативным образом повлиять на результат определения угроз безопасности информации. 2. Проведение экспертной оценки. Эксперты привлекаются для решения следующих задач: - определение множества концептов НКМ и связей между ними; - оценка текущих уровней показателей качества (состояния СЗИ, повреждений информационной системы, текущих затрат на содержание системы и пр.). Сбор данных рекомендуется осуществлять путем проведения совещания. Обсуждение каждого вопроса должно длиться до принятия экспертами по нему согласованного решения. Группе должен быть предоставлен раздаточный материал с вопросами, на которые им предстоит ответить. Вопросы должны быть четкими, однозначно трактуемыми и должны предполагать однозначные ответы. Вопросы, которые предполагают оценку связей между концептами НКМ, целесообразно представлять в виде таблиц (рис. 2, 3). Условное обозначение меры защиты Наименование меры защиты Условное обозначение уязвимости UZ1 … UZm Наименование уязвимости … Наименование уязвимости Z1 Наименование Ранг влияния … Ранг влияния … … … … … Zn Наименование Ранг влияния … Ранг влияния Рис. 2. Структура таблицы, отражающей влияние {Zi} на {UZj} Условное обозначение меры защиты Наименование меры защиты Номер угрозы UG1 … UGm Наименование угрозы … Наименование угрозы Z1 Наименование Ранг влияния … Ранг влияния … … … … … Zn Наименование Ранг влияния … Ранг влияния Рис. 3. Структура таблицы, отражающей влияние {Zi} на {UGj} С учетом данных рекомендаций в состав комиссии вошли сотрудники ИТ-отделов вуза, преподаватели профильных кафедр университета, работники деканата. Основные задачи, которые были поставлены перед комиссией: определение состава НКМ, заполнение базы знаний, формирование входных данных для методики «Ревизор». Обсуждение каждого вопроса длилось до принятия экспертами согласованного решения. В частности, комиссия выявила основные функции системы «Деканат»: планирование учебного процесса (формирование и учет учебных планов и рабочих учебных планов; создание, хранение и обработка графиков учебного процесса и пр.); расчет и распределение нагрузки; хранение и обработка сведений о контингенте студентов вуза; учет успеваемости и посещаемости. Эксперты установили, что все функции одинаково важны для работы подразделения. Наиболее сложной задачей было определение множества угроз и уязвимостей. При ее решении эксперты опирались на банк данных угроз и уязвимостей безопасности информации, разработанный Федеральным автономным учреждением «Государственный научно-исследовательский испытательный институт проблем технической защиты информации Федеральной службы по техническому и экспортному контролю» (ФАУ «ГНИИИ ПТЗИ ФСТЭК России»). В перечень угроз и уязвимостей, характерных для СОД «Деканат», вошли: а) угрозы: - угроза внедрения вредоносного кода или данных; - угроза воздействия на программы с высокими привилегиями; - угроза восстановления аутентификационной информации; - угроза доступа к защищаемым файлам с использованием обходного пути; - угроза доступа/перехвата/изменения HTTP-cookies; - угроза заражения DNS-кеша; - угроза изменения компонентов системы; - угроза изменения режимов работы аппаратных элементов компьютера; - угроза некорректного использования функционала программного обеспечения; - угроза неправомерных действий в каналах связи; - угроза несанкционированного доступа к аутентификационной информации; - угроза несанкционированного копирования защищаемой информации; - угроза несанкционированного создания учётной записи пользователя; - угроза несанкционированного удаления защищаемой информации; - угроза определения топологии вычислительной сети; - угроза подмены доверенного пользователя; - угроза несанкционированной модификации защищаемой информации; - угроза подмены программного обеспечения; б) уязвимости: - использование серверными процессами ragent.exe, rmngr.exe, rhost.exe одного и того же модуля rtrsrvc.dll для работы с TCP-соединением; - использование серверными процессами ragent.exe, rmngr.exe, rhost.exe одного и тот же модуля core82.dll; - ненадежность декодера Fast Infoset библиотеки для работы с XML-документами (xml2.dll); - уязвимость браузера Opera, позволяющая злоумышленнику выполнить произвольный код при двойном нажатии на всплывающее окно; - уязвимость браузера Firefox, позволяющая злоумышленнику выполнить межсайтовый скриптинг; - уязвимость текстового редактора Microsoft Word, которая появляется при преобразовании документов в бинарный формат в конвертере форматов файла; - уязвимость текстового редактора Microsoft Word, связанная с переполнением буфера обмена; - уязвимость библиотеки sxs.dll браузера Google Chrome; - передача незашифрованных данных по протоколу telnet в операционной системе Windows и пр. Далее экспертами была произведена непосредственно оценка качества СОД «Деканат». Безотказность было решено определять средней наработкой СОД до отказа. Ее текущее значение для всех функций СОД составило 11 месяцев. Путем нормирования данного значения по величине максимально приемлемой наработки системы до отказа (12 месяцев) были вычислены значения Rl1 = Rl2 = Rl3 = Rl4 = НЧ(0,92; 0,92; 0,92; 0,92). Поскольку все функции СОД являются равнозначными, то безотказность Rel = НЧ(0,92; 0,92; 0,92; 0,92). Для оценки ремонтопригодности было рассчитано среднее время восстановления способности СОД после отказа для выполнения ее функций - 8 часов. Путем нормирования данного значения по максимально допустимому времени ремонта информационной системы (24 часа) были вычислены значения Rp1 = Rp2 = Rp3 = = Rp4 = НЧ(0,33; 0,33; 0,33; 0,33). Таким образом, уровень ремонтопригодности Rep = НЧ(0,33; 0,33; 0,33; 0,33). Средний срок службы информационной системы составляет 7 лет. Путем нормирования данного значения по максимальному сроку службы информационной системы (10 лет) был вычислен уровень долговечности Dur = НЧ(0,75; 0,75; 0,75; 0,75). Поскольку для компании безотказность, ремонтопригодность, долговечность одинаково важны, то значения их весовых коэффициентов влияния на показатель надежности равны и составляют 1/3. Таким образом, текущий уровень Safety составил 1/3 ∙ 0,93 + 1/3 ∙ 0,33 + 1/3 ∙ 0,75 = НЧ(0,67; 0,67; 0,67; 0,67). Далее экспертами были вербально оценены как «Средние» текущие уровни валидности, адаптивности, интегрируемости, лабильности, делимости. Затраты на владение информационной системой были оценены как НЧ(0,3; 0,3; 0,3; 0,3) (отношение текущих затрат к максимальным затратам, которые может позволить себе компания - 0,3), социально-экономический эффект от эксплуатации - как НЧ(0,5; 0,5; 0,5; 0,5), безопасность для персонала - «Выше среднего», значения общесистемных показателей - как «Средние». На основе экспертных данных о состоянии текущих повреждений информационной системы был вычислен текущий уровень информационной безопасности - «Выше среднего». В результате текущий уровень качества СОД, вычисленный по формуле (1), оказался равным НЧ, которое можно отнести к категории «Средний» с индексом схожести Ω = 0,63 и к категории «Выше среднего» с Ω = 0,39. Значение «прогнозного» уровня качества оказалось равным НЧ, которое можно отнести к категории «Средний» с индексом схожести Ω = 0,8. Данный результат определила недостаточная квалификация персонала учебного заведения в вопросах информационной безопасности и устаревший регламент управления инцидентами в СОД. Для повышения уровня качества в системе «Деканат» были предложены меры по улучшению общесистемных показателей СОД, а также ее валидности, адаптивности, интегрируемости, лабильности, делимости (удаление неиспользуемого, нецелевого, устаревшего программного обеспечения; создание общих каталогов для пользователей СОД, обновление специализированного программного обеспечения до актуальных версий и пр.), а также по улучшению системы защиты информации (формирование нового регламента управления инцидентами в СОД, проведение тренингов для сотрудников деканата по вопросам защиты информации). Реализация этих мер позволила повысить «прогнозные» и текущие уровни качества (в том числе и информационной безопасности) до значений «Выше среднего». Выводы Таким образом, результаты апробации методики «Ревизор» в отдельно взятом университете показали ее применимость для оценки качества СОД вузов. В дальнейшем планируется разработать программное обеспечение для автоматизации процесса оценки, а также хранения баз знаний, необходимых для использования методики.
References

1. Azhmuhamedov I. M. Modelirovanie sistem kompleksnogo obespecheniya informacionnoy bezopasnosti vysshih uchebnyh zavedeniy // Bezopasnost' informacionnyh tehnologiy. 2013. № 2. S. 10-17.

2. Azhmuhamedov I. M., Protalinskiy O. M. Informacionnaya bezopasnost' vuza // Vestn. Astrahan. gos. tehn. un-ta. Ser.: Upravlenie, vychislitel'naya tehnika i informatika. 2009. № 1. S. 18-23.

3. Brumshteyn Yu. M., Bondarev A. A. Sistemnyy analiz voprosov informacionnoy bezopasnosti vuzovskih saytov // Vestn. Astrahan. gos. tehn. un-ta. Ser.: Upravlenie, vychislitel'naya tehnika i informatika. 2014. № 2. S. 138-147.

4. Gluhova L. V. Metodologiya ocenki i upravleniya kachestvom funkcionirovaniya informacionnyh sistem // Vestn. Kazan. tehnol. un-ta. 2008. № 4. S. 174-181.

5. Sigov A. S., Ancyferov E. S., Golub' S. S., Ancyferov S. S. Sistemnye principy upravleniya kachestvom proektirovaniya adaptivnyh informacionno-raspoznayuschih sistem // Izv. YuFU. Tehnicheskie nauki. 2005. № 10. S. 167-174.

6. Isaev G. N. O sinteze sistem upravleniya kachestvom informacionnyh sistem // Vestn. associacii vuzov turizma i servisa. 2009. № 4. S. 89-94.

7. Gusarova N. F., Mayatin A. V. Koordinacionnye metody upravleniya kachestvom v informacionnyh sistemah // Nauch.-tehn. vestn. informacionnyh tehnologiy, mehaniki i optiki. 2006. № 33. S. 241-249.

8. Domarev V. V. Zaschita informacii i bezopasnost' komp'yuternyh sistem. Kiev: Diasoft, 2006. 480 s.

9. Ishakov S. Yu., Shelupanov A. A., Ishakov A. Yu. Imitacionnaya model' kompleksnoy seti sistem bezopasnosti // Dokl. Tomsk. gos. un-ta sistem upravleniya i radioelektroniki. 2014. № 2. S. 82-86.

10. Matusko V. N., Lebedev N. S. Nadezhnost' informacionnyh sistem: ucheb. posobie. Novosibirsk: SGGA, 2006. 129 s.

11. Nikitskaya E. F., Garanina G. G. Ocenka effektivnosti organizacionno-upravlencheskih innovaciy kak rezul'tata vnedreniya sistemy elektronnogo dokumentooborota // Internet-zhurnal «Naukovedenie». 2015. T. 7, № 2. URL: http://naukovedenie.ru/PDF/86EVN215.pdf (data obrascheniya: 19.03.2017).

12. Bunova E. V., Buslaeva O. S. Ocenka effektivnosti vnedreniya informacionnyh sistem // Vestn. Astrahan. gos. tehn. un-ta. Ser.: Upravlenie, vychislitel'naya tehnika i informatika. 2012. № 1 S. 158-164.

13. Knyazeva O. M. Upravlenie kachestvom informacionnyh sistem na osnove processnogo podhoda // Prikaspiyskiy zhurnal: upravlenie i vysokie tehnologii. 2016. № 2. S. 36-47.

14. Knyazeva O. M. Nechetkaya kognitivnaya model' processa ocenki kachestva informacionnyh sistem // Fundamental'nye i prikladnye aspekty komp'yuternyh tehnologiy i informacionnoy bezopasnosti: sb. st. II Vseros. nauch.-tehn. konf. molodyh uchenyh, aspirantov i studentov. Taganrog: Izd-vo Yuzhn. fed. un-ta. 2016. S. 21-24.

15. Knyazeva O. M. Kompleksnaya ocenka kachestva informacionnyh sistem na osnove nechetkogo kognitivnogo modelirovaniya // Matematicheskie metody v tehnike i tehnologiyah - MMTT-29: sb. tr. XXIX Mezhdunar. nauch. konf. Saratov, 2016. T. 1. S. 117-123.

16. Azhmuhamedov I. M., Knyazeva O. M. Unifikaciya podhodov k upravleniyu urovnem informacionnoy bezopasnosti v organizaciyah razlichnogo profilya // Vestn. Astrahan. gos. tehn. un-ta. Ser.: Upravlenie, vychislitel'naya tehnika i informatika. 2015. № 1. S. 66-77.

17. GOST ISO 9000-2011. Sistemy menedzhmenta kachestva. Osnovnye polozheniya i slovar'. URL: http://docs.cntd.ru/document/1200093424 (data obrascheniya: 19.03.2017).

18. Azhmuhamedov I. M., Protalinskiy O. M. Metodologiya modelirovaniya plohoformalizuemyh slabostrukturirovannyh sociotehnicheskih sistem // Vestn. Astrahan. gos. tehn. un-ta. Ser.: Upravlenie, vychislitel'naya tehnika i informatika. 2013. № 1. S. 144-154.

19. Petrov S. A., Krepkov I. M., Fedorov A. B., Ovsyannikova M. R. Avtomatizaciya kadrovogo ucheta kak sostavnaya chast' avtomatizacii upravleniya vuzom // Informatizaciya inzhenernogo obrazovaniya. Trudy Mezhdunar. nauch.-prakt. konf. - INFORINO-2016. M.: MEI, 2016. S. 186-189.


Login or Create
* Forgot password?