THE DEVELOPMENT OF THE MATHEMATICAL MODEL OF PREDICTING THE INDICATORS OF ACCREDITATION OF TECHNICAL UNIVERSITIES IN THE RUSSIAN FEDERATION
Journal: VESTNIK OF ASTRAKHAN STATE TECHNICAL UNIVERSITY. SERIES: MANAGEMENT, COMPUTER SCIENCE AND INFORMATICS
№ 2
, 2017
Rubrics: MATHEMATICAL MODELING
Authors:
1.
Yuri Gagarin State Technical University of Saratov
2.
Institute of Precision Mechanics and Control, Russian Academy of Sciences
3.
Institute of Precision Mechanics and Control, Russian Academy of Sciences
4.
Institute of Precision Mechanics and Control, Russian Academy of Sciences
Type:
Article
Pages:
from 27
to 38
Status:
Published
Received:
05.04.2017
Accepted:
25.04.2017
Published:
25.04.2017
Subject area:
VAC 05.12.2013 Системы, сети и устройства телекоммуникаций
VAC 05.13.01 Системный анализ, управление и обработка информации (по отраслям)
VAC 05.13.06 Автоматизация и управление технологическими процессами и производствами (по отраслям)
VAC 05.13.10 Управление в социальных и экономических системах
VAC 05.13.18 Математическое моделирование, численные методы и комплексы программ
VAC 05.13.19 Методы и системы защиты информации, информационная безопасность
UDK 004.942
GRNTI 20.01 Общие вопросы информатики
GRNTI 28.01 Общие вопросы кибернетики
GRNTI 49.01 Общие вопросы связи
GRNTI 50.01 Общие вопросы автоматики и вычислительной техники
GRNTI 82.01 Общие вопросы организации и управления
VAC 05.13.01 Системный анализ, управление и обработка информации (по отраслям)
VAC 05.13.06 Автоматизация и управление технологическими процессами и производствами (по отраслям)
VAC 05.13.10 Управление в социальных и экономических системах
VAC 05.13.18 Математическое моделирование, численные методы и комплексы программ
VAC 05.13.19 Методы и системы защиты информации, информационная безопасность
UDK 004.942
GRNTI 20.01 Общие вопросы информатики
GRNTI 28.01 Общие вопросы кибернетики
GRNTI 49.01 Общие вопросы связи
GRNTI 50.01 Общие вопросы автоматики и вычислительной техники
GRNTI 82.01 Общие вопросы организации и управления
Language:
Russian
Keywords:
higher education, world universities ranking, quality of educational process, mathematical model, system dynamics
Abstract (English):
The paper presents the system of predicting the indicators of accreditation of technical universities based on J. Forrester mechanism of system dynamics. According to analysis of cause-and-effect relationships between selected variables of the system (indicators of accreditation of the university) there was built the oriented graph. The complex of mathematical models developed to control the quality of training engineers in Russian higher educational institutions is based on this graph. The article presents an algorithm for constructing a model using one of the simulated variables as an example. The model is a system of non-linear differential equations, the modelling characteristics of the educational process being determined according to the solution of this system. The proposed algorithm for calculating these indicators is based on the system dynamics model and the regression model. The mathematical model is constructed on the basis of the model of system dynamics, which is further tested for compliance with real data using the regression model. The regression model is built on the available statistical data accumulated during the period of the university's work. The proposed approach is aimed at solving complex problems of managing the educational process in universities. The structure of the proposed model repeats the structure of cause-effect relationships in the system, and also provides the person responsible for managing quality control with the ability to quickly and adequately assess the performance of the system.
The paper presents the system of predicting the indicators of accreditation of technical universities based on J. Forrester mechanism of system dynamics. According to analysis of cause-and-effect relationships between selected variables of the system (indicators of accreditation of the university) there was built the oriented graph. The complex of mathematical models developed to control the quality of training engineers in Russian higher educational institutions is based on this graph. The article presents an algorithm for constructing a model using one of the simulated variables as an example. The model is a system of non-linear differential equations, the modelling characteristics of the educational process being determined according to the solution of this system. The proposed algorithm for calculating these indicators is based on the system dynamics model and the regression model. The mathematical model is constructed on the basis of the model of system dynamics, which is further tested for compliance with real data using the regression model. The regression model is built on the available statistical data accumulated during the period of the university's work. The proposed approach is aimed at solving complex problems of managing the educational process in universities. The structure of the proposed model repeats the structure of cause-effect relationships in the system, and also provides the person responsible for managing quality control with the ability to quickly and adequately assess the performance of the system.
Keywords:
higher education, world universities ranking, quality of educational process, mathematical model, system dynamics
higher education, world universities ranking, quality of educational process, mathematical model, system dynamics
Введение Оценка эффективности управления высшим учебным заведением в условиях развивающихся рыночных отношений и сокращения бюджетного финансирования приобретает особую актуальность с появлением новых требований, предъявляемых рынком образовательных услуг и рынком труда. Долгое время основными способами оценки качества образовательного процесса в Российской Федерации являлись процедуры лицензирования, аттестации и аккредитации. Но постепенно все большее значение приобретает общественная аккредитация вуза, особенно в рамках рейтингов образовательных учреждений, которые ежегодно составляются различными журналами, газетами, агентствами и учеными. Для эффективной работы по продвижению вуза и его включению в академические рейтинги руководству необходимо иметь в своем распоряжении аналитические средства для прогнозирования динамики основных показателей работы вуза. Без использования аппарата системной динамики сложно проводить исследования подобного рода. Разработанная на основе аппарата системной динамики информационно-советующая система позволит лицу, принимающему решения (ЛПР), определить изменение характеристик вуза на различных временных интервалах. В настоящее время существует достаточно большое количество университетских рейтингов различного уровня: от региональных до международных. Самыми известными международными рейтингами являются Шанхайский рейтинг (ARWU), Мировой университетский рейтинг QS, Мировой рейтинг университетов Times Higher Education и Лейденский рейтинг университетов. Все эти рейтинги характеризуются рядом существенных недостатков, главным из которых является их узкая специализация. Эти рейтинги не охватывают все стороны образовательного процесса и не предусматривают многомерное ранжирование вузов, поэтому далеко не все образовательные учреждения могут попасть в эти рейтинги. В 2011 г. Европейская комиссия приняла решение финансировать разработку и реализацию нового многомерного международного рейтинга университетов U-Multirank [1]. Показатели рейтинга U-Multirank наиболее полно характеризуют все процессы, происходящие в образовательных учреждениях, поэтому в качестве прогнозируемых характеристик разрабатываемой модели были выбраны показатели аккредитации мирового рейтинга университетов U-Multirank. Постановка задачи и разработка математической модели Целью исследования была разработка математической модели для информационно-советующей системы, позволяющей при известных параметрах среды провести прогнозирование изменений основных показателей образовательного процесса вуза. Решение данной задачи позволит повысить качество управления образовательным учреждением на заданном временном интервале. Предлагаемый подход ориентирован на решение сложных задач в сфере управления образовательным процессом в вузах. Этот подход использует технологию системной динамики. Для наиболее точного описания взаимосвязи элементов в образовательном процессе будем использовать модель мировой динамики Дж. Форрестера [2]. Математическая модель прогнозирования показателей аккредитации разрабатывается на основе аппарата системной динамики, в соответствии с которой, при описании моделируемых переменных, используется система нелинейных дифференциальных уравнений 1-го порядка. Базовая модель состоит из моделируемых переменных или уровней, связанных между собой входящими и исходящими управляемыми потоками; потоков, перемещающих содержимое одного состояния к другому; процедур решений, регулирующих темпы потока между состояниями; каналов информации, которые соединяют процедуры решений с состояниями [3]. Структурная схема потоков образовательного процесса дополняется системой уравнений, прогнозирующих изменения, происходящие в процессе протекания этих потоков при различных темпах воздействия факторов торможения и ускорения. Для моделируемых переменных, которые представляют собой накопления в цепях обратной связи, записывают уравнения вида где y+/y- - положительный/отрицательный темп скорости переменной y, включающий в себя все факторы, вызывающие рост/убывание переменной y. Положительные и отрицательные темпы определяют существующие мгновенные входящие и исходящие потоки между уровнями системы и отражают их взаимодействие, а уровни измеряют состояние системы, которое достигается в результате сложения влияний факторов. В качестве процедур решений здесь выступают решения ЛПР об изменении значений факторов, влияющих на динамику показателей аккредитации. Темпы представляют собой произведение функций, зависящих от комбинаций основных переменных: где - влияющие факторы; (число моделируемых переменных), . Граничные условия . Таким образом, факторов меньше, чем основных переменных, и каждый фактор зависит не от всех системных уровней, а только от какой-то их части. Это позволяет упростить задачу моделирования. На основании анализа причинно-следственных связей, существующих между прогнозируемыми показателями аккредитации, разработан ориентированный граф (рис. 1). Прогнозируемые характеристики являются вершинами графа, а исходящие и входящие дуги характеризуют функциональные связи между ними. При формировании графа причинно-следственных связей большие сложности возникают с определением релевантных связей, учитываемых в дальнейшем при синтезе математической модели для контроля процесса функционирования вуза. Согласно принципу всеобщей взаимосвязи объектов, явлений и процессов окружающего мира, между моделируемыми переменными существует огромное число различных взаимосвязей, как прямых, так и обратных, полный учет которых осуществить практически невозможно. В связи с этим обстоятельством были выбраны только те причинно-следственные связи, которые, по мнению экспертов, существенно влияют на величину моделируемых переменных. Рис. 1. Граф причинно-следственных связей, используемых при построении математической модели: ППС - профессорско-преподавательский состав; НПП - научно-педагогический персонал По графу причинно-следственных связей, в соответствии с моделью системной динамики [4-8], формируется система нелинейных дифференциальных уравнений, из решения которой определяются моделируемые характеристики образовательного процесса. Рассмотрим процесс построения модели на примере дифференциального уравнения для переменной X1, описывающей динамику среднегодовой численности выпускников-бакалавров. Дифференциальное уравнение для моделируемой переменной Х1 будет иметь вид где X1(t) - среднегодовой % выпускников-бакалавров, BPn(t); BPk(t) - % выпускников-бакалавров на начало/конец расчетного периода; Bn(t), Bk(t) - число выпускников-бакалавров на начало/конец расчетного периода; BS(t) - общее число выпускников-бакалавров. На скорость изменения переменной X1 влияют такие внешние факторы, как среднегодовой объем финансовых средств вуза F, среднегодовой рейтинг вуза R, востребованность выпускников вуза W и уровень развития региона UR. Кроме того, скорость изменения переменной X1 зависит от других переменных (рис. 2), таких как количество выпускников-бакалавров, закончивших обучение в срок (X3); количество программ на иностранных языках для бакалавров (X19); среднегодовое количество иностранных студентов (X21); среднегодовое количество студентов, участвующих в программах обмена (X22) и международных программах (X23); среднегодовое количество выпускников-бакалавров, работающих в регионе (X27); среднегодовое количество студентов, участвующих в стажировках в региональных организациях (X29). Рис. 2. Подграф моделируемой переменной Х1 С учетом всех функциональных зависимостей от других системных уровней конечное уравнение для переменной Х1 примет вид Положительные и отрицательные темпы изменения фактора Х1 вычисляются по следующей формуле: Аналогично записываются дифференциальные уравнения и темпы для остальных моделируемых переменных. Таким образом, разработанная математическая модель имеет следующий вид: (1) где - прогнозируемые переменные, а прочие параметры - константы, которые определяются экспериментально на стадии адаптации модели: X1(t) - среднегодовой % выпускников-бакалавров, BPn, BPk - % выпускников-бакалавров на начало/конец расчетного периода, , Bn, Bk - количество выпускников-бакалавров на начало/конец расчетного периода, BS - общее количество выпускников-бакалавров; X2(t) - среднегодовой % выпускников-магистров, MPn, MPk - % выпускников-магистров на начало/конец расчетного периода, , Mn, Mk - количество выпускников-магистров на начало/конец расчетного периода, MS - общее количество выпускников-магистров; X3(t) - текущий % выпускников-бакалавров, закончивших обучение в срок, BV - количество выпускников-бакалавров, закончивших обучение в срок, BC - количество выпускников-бакалавров, продолжающих обучение, BZ - среднегодовое количество зачисленных бакалавров, ; X4(t) - текущий % выпускников-магистров, закончивших обучение в срок, MV - количество выпускников-магистров, закончивших обучение в срок, MC - количество выпускников-магистров, продолжающих обучение, MZ - среднегодовое количество зачисленных магистров, ; X5(t) - среднегодовое число цитирований, Cn, Ck - общее количество цитирований на начало/конец расчетного периода; X6(t) - общее количество публикаций, PT - количество публикаций по техническим дисциплинам, PA - количество публикаций в области искусств, PJ - количество междисциплинарных исследований, PD - количество публикаций по патентам, PS - прочие публикации; X7(t) - текущий % доходов из внешних источников, G - исследовательские гранты от национальных и международных финансовых учреждений, IG - гранты от научно-исследовательских советов и исследовательских фондов, NG - гранты от благотворительных и других некоммерческих организаций; X8(t) - текущее количество исследований в области искусств, An, Ak - количество публикаций в области искусств на начало/конец расчетного периода; X9(t) - текущее количество часто цитируемых публикаций, Vn, Vk - количество часто цитируемых публикаций на начало/конец расчетного периода; X10(t) - количество междисциплинарных публикаций, IDPn, IDPk - количество междисциплинарных публикаций на начало/конец расчетного периода; X11(t) - среднегодовой % постдоков, DPn, DPk - % постдоков на начало/конец расчетного периода, , Dn, Dk - количество постдоков на начало/конец расчетного периода, NPP - общее количество научно-педагогического персонала; X12(t) - текущий % совместных с промышленными предприятиями исследовательских публикаций, JIn, JIk - количество публикаций, ссылающихся на промышленные предприятия, на начало/конец расчетного периода; X13(t) - текущий % доходов от сторонних организаций, IB - доходы от научных исследований для промышленности и бизнеса, IN - доходы от научных исследований для частных фондов, благотворительных и других некоммерческих организаций, IL - доходы от лицензирования; X14(t) - общее количество присужденных патентов, DS - количество патентов, совместных с другими организациями, DV - количество патентов, зарегистрированных вузом, DP - прочие патенты; X15(t) - текущий % совместных с частными организациями патентов, JDn, JDk - количество патентов, ссылающихся на промышленные предприятия, на начало/конец расчетного периода; X16(t) - количество малых инновационных предприятий на 1 штатного академического сотрудника, INn, INk - количество малых инновационных предприятий на начало расчетного периода; X17(t) - текущий % исследовательских публикаций по патентам, PPn, PPk - количество публикаций по патентам на начало/конец расчетного периода; Х18(t) - текущий % доходов от непрерывного профессионального развития, IRn, IRk - объем доходов от непрерывного профессионального развития на начало/конец расчетного периода; X19(t) - текущее количество программ на иностранных языках для бакалавров, FBn, FBk - количество программ на иностранных языках для бакалавров на начало/конец расчетного периода, FB - общее количество программ на иностранных языках для бакалавров; X20(t) - текущее количество программ на иностранных языках для магистров, FMn, FMk - количество программ на иностранных языках для магистров на начало/конец расчетного периода, FM - общее количество программ на иностранных языках для магистров; X21(t) - среднегодовой % иностранных студентов, FSn, FSk - % иностранных студентов на начало/конец расчетного периода, , Fn, Fk - количество иностранных студентов на начало/конец расчетного периода; X22(t) - среднегодовой % студентов, участвующих в программах обмена, OPn, OPk - % студентов, участвующих в программах обмена, на начало/конец расчетного периода, , On, Ok - количество студентов, участвующих в программах обмена, на начало/конец расчетного периода; X23(t) - среднегодовой % студентов, участвующих в международных программах, JSn, JSk - % студентов, участвующих в международных программах, на начало/конец расчетного периода, , JSSn, JSSk - количество студентов, участвующих в международных программах, на начало/конец расчетного периода; X24(t) - среднегодовой % иностранных сотрудников, ISPn, ISPk - % иностранных сотрудников на начало/конец расчетного периода, , ISn, ISk - количество иностранных сотрудников на начало/конец расчетного периода; X25(t) - текущий % совместных международных публикаций, JPn, JPk - количество публикаций с одним и более иностранных соавторов на начало/конец расчетного периода; X2(t) - среднегодовой % иностранных выпускников-докторантов, FDPn, FDPk - % иностранных выпускников-докторантов на начало/конец расчетного периода, , FDn, FDk - количество иностранных выпускников-докторантов на начало/конец расчетного периода, DS - общее количество выпускников-докторантов; X27(t) - среднегодовой % выпускников-бакалавров, работающих в регионе, BRPn, BRPk - % выпускников-бакалавров, работающих в регионе, на начало/конец периода, , BRn, BRk - количество выпускников-бакалавров, работающих в регионе, на начало /конец расчетного периода; X28(t) - среднегодовой % выпускников-магистров, работающих в регионе, MRPn, MRPk - % выпускников-магистров, работающих в регионе, на начало/конец расчетного периода, , MRn, MRk - количество выпускников-магистров, работающих в регионе, на начало/конец расчетного периода; X29(t) - среднегодовой % студентов, участвующих в стажировках в региональных организациях, SRPn, SRPk - % студентов, участвующих в стажировках, на начало/конец расчетного периода, , SRn, SRk - количество студентов, участвующих в стажировках, на начало/конец расчетного периода; X30(t) - текущий % совместных с регионом исследовательских публикаций, RPn, RPk - количество публикаций с одним и более соавтором, географически расположенном в том же регионе, на начало/конец расчетного периода; X31(t) - текущий % доходов из региональных источников, IR - доходы от научных исследований для промышленности и бизнеса в регионе, NR - доходы от научных исследований для региональных частных источников. Функциональные зависимости между переменными определяются на основе анализа статистических данных и, как правило, аппроксимируются полиномами невысокой степени. В начале эксплуатации информационно-советующей системы статистическая информация может отсутствовать, быть недостоверной или иметь фрагментарный характер, в этом случае зависимости определяются на основе физического смысла моделируемого процесса [9]. Статистические данные накапливаются в ходе работы образовательного учреждения, в том числе Управления контроля качества образования, а также публикуются в различных статистических сборниках Федеральной службы государственной статистики, Министерства образования и науки Российской Федерации и др. Задача прогнозирования динамики показателей образовательного процесса представляет собой задачу Коши, которая решается с помощью численного метода Рунге - Кутты 4-го порядка. Имитационное моделирование по модели (1) проводилось при помощи системы автоматизации математических и научно-технических расчетов MATLAB. Результаты прогнозирования показателей позволяют выявить основные тенденции в изменении данных характеристик, что необходимо при принятии управленческих решений в вузе. Оценка адекватности построенной модели Проверка адекватности модели (1) осуществляется при помощи регрессионного анализа [10, 11]. Рассмотрим процедуру проверки адекватности модели на примере переменной Х1. Статистические данные для системного уровня Х1 приведены в таблице. Годы 2010 2011 2012 2013 2014 Значение, чел. 118 128,4 129,4 120,2 137,3 Нормированные Xin 0,25 0,56 0,59 0,3 0,8 Коэффициенты в уравнениях регрессии были определены с помощью метода наименьших квадратов. На рис. 3 приведен график кривой, аппроксимирующей значения уровня численности выпускников-бакалавров в 2010-2014 гг. В таблице принято обозначение - нормированное значение уровня численности выпускников-бакалавров. Уравнение регрессии для моделируемой переменной будет иметь вид Рис. 3. Изменение количества выпускников-бакалавров по годам На рис. 4 приведен график сравнения значений показателя Х1 на временном интервале 1 год, определенного по двум различным моделям: Хr - значения показателя Х1, вычисленного по регрессионной модели, Хds - по модели системной динамики. Рис. 4. График сравнения значений Х1, рассчитанных по разным моделям Таким же образом проводились статистические расчеты для остальных системных уровней . Относительная погрешность вычислений не превышает 10 %, что говорит об адекватности разработанных математических моделей. Информационно-логическая схема управления образовательным процессом Процедура управления образовательным процессом на основе модели (1) представлена в виде информационно-логической схемы, характеризующей процедуру решения задачи на основе комплекса технических средств (рис. 5) [12, 13]. Рис. 5. Информационно-логическая схема решения задачи управления образовательным процессом: 1 - сбор данных по показателям; 2 - экспертная оценка; 3 - запись информации в БД; 4 - проверка достоверности данных; 5 - информация достоверна?; 6 - формирование отчета о недостоверности данных; 7 - корректировка данных; 8 - решение системы дифференциальных уравнений; 9 - сравнение расчетных показателей с заданными; 10 - отклонение расчетных значений от требуемых меньше заданного значения?; 11 - поиск причин несоответствия; 12 - корректировка оперативного плана действий; 13 - внесение в БД информации; 14 - извлечение из БД данных за квартал; 15 - анализ результатов решения за квартал; 16 - результаты удовлетворительны?; 17 - проверка математической модели экспериментами; 18 - эксперименты удачны?; 19 - корректировка функциональных зависимостей модели; 20 - внесение в БД новых значений функциональных зависимостей; 21 - внесение результатов в БД; 22 - формирование отчета об успешности экспериментов; 23 - поиск причин несоответствия; 24 - принятие решения; 25 - внесение в БД информации; 26 - извлечение из БД данных за год; 27 - вычисление фактический значений показателей за год; 28 - сравнение расчетных показателей с заданными; 29 - есть отклонения от расчетных значений?; 30 - вычисление значений показателей на следующий период планирования; 31 - принятие решения; 32 - внесение прогнозных значений в БД; 33 - проверка эффективности модели; 34 - модель эффективна?; 35 - корректировка математической модели; 36 - внесение в БД скорректированной модели; 37 - поиск причин несоответствия; 38 - экспертный анализ причин отклонения; 39 - корректировка стратегического плана действий На отрезке времени «Один раз в неделю» решается система дифференциальных уравнений (1) для определения расчетных значений показателей аккредитации. В случае отклонения значений от экспериментальных проводятся анализ и корректировка плана мероприятий по улучшению показателей. На отрезке времени «Один раз в квартал» проводятся анализ результатов, сбор данных за текущий период времени и вычисление фактических показателей. В случае несоответствия результатов проводятся поиск причин и их устранение, а в случае отклонения фактических показателей от требуемых проводится корректировка функциональных зависимостей. На отрезке времени «Один раз в год» проводятся вычисление фактических показателей за год и анализ эффективности работы математической модели. При достижении нужного уровня тенденции развития осуществляется расчет показателей на следующий период времени. В противном случае проводятся корректировка математической модели, анализ причин отклонений и их устранение. Заключение Таким образом, по результатам исследования: - предложена и обоснована система показателей, характеризующих образовательный процесс вуза при оценке эффективности его функционирования с помощью рейтинговой системы U-Multirank; - разработана математическая модель процесса изменения показателей функционирования вуза, основанная на использовании математического аппарата системной динамики и регрессионного анализа; - предложена процедура проверки адекватности разработанной математической модели, установлена возможность ее применения при прогнозировании моделируемых характеристик в информационно-советующих системах высших учебных заведений; - разработана информационно-логическая схема, определяющая основные этапы процедуры подготовки и принятия решений при использовании информационной системы для прогнозирования показателей рейтинга U-Multirank. Структура предлагаемой модели позволяет учитывать внешние и внутренние возмущающие воздействия и наглядно иллюстрирует структуру причинно-следственных связей в системе, а также предоставляет лицу, ответственному за управление контролем качества, возможность оперативно и адекватно реагировать на них. Но разработанная математическая модель испытывает трудности с точным анализом некоторых взаимозависимостей и в отслеживании обратных связей, поэтому требуется проверка ее адекватности при помощи регрессионной модели. Таким образом, предлагаемая математическая модель позволяет учитывать особенности образовательного процесса как сложной системы и отслеживать качество процесса в любой дискретный момент времени.
1. Oficial'nyy sayt mirovogo reytinga universitetov U-Multirank. URL: http://u-multirank.eu/ (data obrascheniya: 15.02.2017).
2. Forrester Dzh. Osnovy kibernetiki predpriyatiya (industrial'naya dinamika). M.: Progress, 1971. 325 s.
3. Mahov S. A. Matematicheskoe modelirovanie mirovoy dinamiki i ustoychivogo razvitiya na primere modeli Forrestera // Novoe v sinergetike. Novaya real'nost', novye problemy, novoe pokolenie. M.: Nauka, 2002. S. 324-345.
4. Yandybaeva N. V., Kushnikov V. A. Matematicheskaya model' dlya prognozirovaniya akkreditacionnyh pokazateley vuza // Upravlenie bol'shimi sistemami. Vyp. 40. M.: IPU RAN, 2012. S. 314-343.
5. Klyuev V. V., Rezchikov A. F., Kushnikov V. A., Ivaschenko V. A., Hamutova M. V., Bogomolov A. S., Filimonyuk L. Yu. Informacionno-upravlyayuschaya sistema dlya podderzhki prinyatiya resheniy po likvidacii posledstviy navodneniy // Vestn. komp'yuternyh i informacionnyh tehnologiy. 2016. № 11 (149). S. 109-114.
6. Rezchikov A. F., Bogomolov A. S., Ivaschenko V. A., Filimonyuk L. Yu. Podhod k obespecheniyu i podderzhaniyu bezopasnosti slozhnyh sistem na osnove avtomatnyh modeley // Upravlenie bol'shimi sistemami. Vyp. 54. M.: IPU RAN, 2015. S. 179-194.
7. Klyuev V. V., Bayburin V. B., Rezchikov A. F., Kushnikov V. A., Bogomolov A. S., Filimonyuk L. Yu. Modeli i algoritmy monitoringa global'noy bezopasnosti na osnove derev'ev sobytiy // Kontrol'. Diagnostika. 2015. № 8. S. 70-74.
8. Klyuev V. V., Rezchikov A. F., Kushnikov V. A., Ivaschenko V. A., Bogomolov A. S., Filimonyuk L. Yu., Yandybaeva N. V. Matematicheskie modeli dlya kontrolya, diagnostiki i prognozirovaniya sostoyaniya nacional'noy bezopasnosti Rossii // Kontrol'. Diagnostika. 2016. № 3. S. 43-51.
9. Kachur K. P., Kushnikov V. A. Modelirovanie harakteristik aviacionnoy transportnoy sistemy s pomosch'yu uravneniy sistemnoy dinamiki // Informacionno-kommunikacionnye tehnologii v nauke, proizvodstve i obrazovanii: sb. st. Mezhdunar. nauch. konf. ICIT-2016 (Saratov, 23-28 avg. 2016 g.). Saratov: SGTU, 2016. S. 176-182.
10. Kushnikov V. A., Yandybaeva N. V. Model' Forrestera v upravlenii kachestvom obrazovatel'nogo processa vuza // Prikladnaya informatika. 2011. № 3 (33). S. 65-73.
11. Kushnikov V. A., Kushnikova E. V. Arhitektura prikladnogo programmnogo obespecheniya dlya formal'nogo analiza svoystv celey i sinteza kriteriev upravleniya slozhnymi social'nymi i ekonomicheskimi sistemami // Vestn. Saratov. gos. tehn. un-ta. 2009. T. 4, № 2 (43). S. 199-201.
12. Pshenichnikov I. S. Kushnikov V. A., Shlychkov E. I., Rezchikov A. F. Analiz vypolnimosti planov meropriyatiy v sisteme avtomatizirovannogo upravleniya mostostroitel'noy organizaciey // Mehatronika, avtomatizaciya, upravlenie. 2006. № 11. S. 45-49.
13. Shlychkov E. I., Pohaznikov M. Yu., Kushnikov V. A., Kalashnikova M. Yu. Analiz vypolnimosti planov meropriyatiy pri operativnom upravlenii mashinostroitel'nym predpriyatiem // Vestn. Saratov. gos. tehn. un-ta. 2007. T. 1. № 1 (21). S. 88-95.
