ALGORITHMS FOR EXAMINATION AND VERIFICATION OF WORK PROGRAMS OF DISCIPLINES FOR USE IN INFORMATION SYSTEMS
Authors:
1.
ITMO University
(Senior Lecturer of the Faculty of Infocommunication Technologies)
Russian Federation
Russian Federation
2.
ITMO University
(Engineer of the Faculty of Infocommunication Technologies)
Russian Federation
Russian Federation
3.
ITMO University
(Candidate of Technical Sciences; Assistant Professor of the Faculty of Infocommunication Technologies)
Russian Federation
Russian Federation
4.
ITMO University
(Engineer of the Faculty of Infocommunication Technologies)
Russian Federation
Russian Federation
5.
ITMO University
(Engineer of the Faculty of Infocommunication Technologies)
Russian Federation
Russian Federation
6.
ITMO University
(Laboratory Assistant of the Faculty of Infocommunication Technologies)
Russian Federation
Russian Federation
7.
ITMO University
(Laboratory Assistant of the Faculty of Infocommunication Technologies)
Russian Federation
Russian Federation
Type:
Article
Pages:
from 143
to 156
Status:
Published
Received:
23.07.2021
Accepted:
26.07.2021
Published:
26.07.2021
Subject area:
UDK 51 Математика
Language:
Russian
Keywords:
higher educational institution, syllabus, document flow, educational program, department of educational activities, information system
Abstract (English):
The article considers a syllabus as a core component of the educational program and an essential tool for describing an academic course for both a teacher and a student. Nowadays, there is gradual automation of document flow in educational institutions, including educa-tional and methodological documentation. It is required to develop the university's information system and the algorithm itself for the formal and content-wise review to automate the syllabus validation and verification process. The syllabus review process at St. Petersburg State University, RANEPA, and HSE was considered in the study. Therefore, a universal algorithm applicable to information systems has been designed. Since March 2021, ITMO University has been widely using “Educational Program Maker” web service to manage educational program elements. The developed system utilizes educational analytics methods which are widely used in online education for student behavior patterns evaluation and education results improvement. The proposed algorithm is implemented for syllabi development and review. Introduction of the module for the syllabi creation in a standardized and unified format allows to describe the prerequisites and post requisites of academic courses and link various educational activities with learning outcomes, making it possible to reveal the course content. Introducing the verification modules made it possible to automate the process of syllabi approvement
The article considers a syllabus as a core component of the educational program and an essential tool for describing an academic course for both a teacher and a student. Nowadays, there is gradual automation of document flow in educational institutions, including educa-tional and methodological documentation. It is required to develop the university's information system and the algorithm itself for the formal and content-wise review to automate the syllabus validation and verification process. The syllabus review process at St. Petersburg State University, RANEPA, and HSE was considered in the study. Therefore, a universal algorithm applicable to information systems has been designed. Since March 2021, ITMO University has been widely using “Educational Program Maker” web service to manage educational program elements. The developed system utilizes educational analytics methods which are widely used in online education for student behavior patterns evaluation and education results improvement. The proposed algorithm is implemented for syllabi development and review. Introduction of the module for the syllabi creation in a standardized and unified format allows to describe the prerequisites and post requisites of academic courses and link various educational activities with learning outcomes, making it possible to reveal the course content. Introducing the verification modules made it possible to automate the process of syllabi approvement
Keywords:
higher educational institution, syllabus, document flow, educational program, department of educational activities, information system
higher educational institution, syllabus, document flow, educational program, department of educational activities, information system
Введение
Образовательная программа (ОП) по направлению или специальности для учебного заведения представляет собой комплекс основных характеристик образования (объем, содержание, планируемые результаты), организационно-педагогических условий и форм аттестации, представленный в виде следующих компонентов [1]:
– общая характеристика ОП, описывающая связь с профессиональным и образовательным стандартами;
– учебный план, в котором устанавливается список предметов и количество времени,
необходимые для освоения определенной специализации;
– календарный учебный график, определяющий последовательность обучения;
– рабочие программы дисциплин (модулей) (РПД), определяющие последовательность освоения дисциплины;
– рабочие программы практик, описывающие цели, задачи и результаты прохождения практик;
– рабочая программа государственной итоговой аттестации, определяющая ее содержание;
– оценочные средства, с помощью которых производится измерение и оценка уровня сформированности и образовательных результатов [2];
– методические материалы, указания в которых обеспечивают наиболее эффективное освоение изучаемой дисциплины.
Каждый компонент ОП формируется в виде отдельного документа.
Рабочие программы дисциплин являются одним из главных компонентов, определяющих содержание ОП по направлению (специальности) в целом. Создание удобного и эффективного взаимодействия участников в процессе проектирования, разработки, согласования и утверждения РПД является одной из приоритетных задач для учебных заведений. В современных условиях образовательный процесс может реализовываться как в очном, так и в очно-дистанционном режимах. Это касается и организационных процессов, поэтому создание системы, способной заменить бумажный документооборот на электронный, становится актуальным. Организация разработки РПД с использованием системы с элементами электронного документооборота позволит оптимизировать процесс на всех этапах и обеспечить эффективные коммуникации для участников – от преподавателя до сотрудников департамента образовательной деятельности (ДОД) как конечного звена.
В настоящее время не в каждом учебном заведении имеются автоматизированные информационные системы (АИС), которые позволяют автоматизировать разработку и согласование компонентов ОП. При организации электронного документооборота необходимо правильно настроить процесс экспертизы и верификации документов. При верификации может вестись проверка РПД как на формальное соответствие требованиям вуза и различным стандартам, так и на соответствие методическим требованиям к содержанию дисциплины. Целью работы является разработка алгоритма экспертизы и верификации РПД как компонента ОП для информационных систем в высших учебных заведениях.
Объект исследования – ОП по направлению подготовки высшего образования.
Предмет исследования – шаблоны РПД, предоставленные вузами России в открытом доступе, и методологии проведения экспертизы и верификации готовых документов.
Для достижения поставленной цели решались следующие задачи:
– изучить структуры РПД в Университете ИТМО и других вузах РФ;
– изучить алгоритмы экспертизы и верификации РПД в Университете ИТМО;
– провести сравнительный анализ РПД Университета ИТМО и других вузов России;
– разработать новый алгоритм экспертизы РПД для использования в информационных системах высших учебных заведений;
– спроектировать и реализовать интерфейсы для проведения экспертиз в сервисе «Конструктор образовательных программ» [3];
– провести экспертную оценку алгоритма пользователями сервиса.
Анализ предметной области
В различных вузах тема ведения дистанционного документооборота в рамках реализации учебного процесса стала серьезным вопросом, требующим изучения.
В статье [4] Е. Ф. Раенко отмечает, что РПД является локальным и индивидуальным документом для каждого образовательного учреждения. Рабочие программы дисциплин отражают индивидуальную модель построения учебного процесса каждым преподавателем и основываются на образовательных потребностях и особенностях развития обучающихся.
В РПД приводится программа освоения учебного материала, соответствующая требованиям федерального государственного образовательного стандарта высшего образования или образовательного стандарта вуза, учитывающая специфику подготовки обучающихся по избранному направлению или специальности. В программе определяются объем дисциплины
в академических часах, содержание дисциплины или модуля, а также приведены способы контроля результатов обучения [4, 5].
В статье [6] авторы выделяют этапы жизненного цикла, которые проходит рабочая программа учебной дисциплины в различных российских вузах, в частности рассматривается пример системы, используемой в Университете ИТМО. Также отмечается, что в среде электронного обучения процесс составления РПД значительно упрощается и становится более наглядным для пользователей. В системе дистанционного обучения AcademicNT Университета ИТМО сохраняются все действия, связанные с созданием и изменениями документов. Удобный интерфейс системы также значительно упрощает процесс разработки РПД.
Актуальной задачей является разработка сервиса, с помощью которого появится возможность создавать РПД в электронном формате. Так, в работе [5] описывается веб-приложение, разработанное во Владимирском государственном университете имени Александра Григорьевича и Николая Григорьевича Столетовых, с помощью которого преподаватели могут создавать РПД, затрачивая при этом значительно меньше времени. При создании РПД пользователь работает с шаблоном, частично заполненным данными из учебного плана дисциплины, на основании которого создается программа. Также авторы проводили исследование с целью выявления критериев, которые определяют качество РПД.
В статье [7] рассмотрен алгоритм анализа РПД для Колледжа современных технологий
(г. Москва). Автор выделяет ключевые элементы процесса составления и утверждения рабочей программы (РП). Алгоритм проведения анализа осуществляется следующим образом: преподавателем определяется содержание РП и учебного плана, на основе чего формируется проект РП. Далее предметно-цикловая комиссия утверждает либо отклоняет составленные документы. Учебно-методический отдел подготавливает шаблоны для оформления материалов учебно-методических комплексов, контролируя разрабатываемый учебный план и, в завершении, отдел учебной работы осуществляет контроль реализации разработанной РП в рамках учебного процесса. Автор также отмечает, что данный алгоритм процесса проверки и согласования документов нуждается в оптимизации, т. к. он увеличивает количество данных, поступающих сотрудникам, что существенно затрудняет работу. Для устранения такого рода проблемы предложены решения по внедрению специализированных информационных систем, которые помогут уменьшить бумажный документооборот за счет перевода в электронный формат.
На основе обзора научных источников можно сделать вывод, что переход документооборота в электронный формат является неотъемлемой частью развития образовательной системы. Такой переход повлечет за собой востребованность в проведении дистанционной экспертизы
и верификации документов. Именно поэтому в данной работе будет предложен алгоритм, разработанный для реализации процессов экспертизы и электронного документооборота в высших учебных заведениях, который прошел апробацию в Университете ИТМО в онлайн-сервисе для разработки и проверки РПД.
Экспертиза и верификация РПД в Университете ИТМО
В настоящее время в Университете ИТМО содержательная проверка и проверка по локальному нормативному акту осуществляются несогласованно. Локальным нормативным актом регламентируется проверка оформления рабочей программы дисциплины на соответствие формальным требованиям и осуществляется отделом учебно-методического обеспечения учебного процесса ДОД Университета ИТМО. Содержательная проверка РПД осуществляется исключительно в подразделении, где она разрабатывается, под контролем руководителя и никак не со-гласована с ДОД. Обобщенный алгоритм экспертизы и верификации РПД в Университете
ИТМО представлен на рис. 1.
Рис. 1. Алгоритм экспертизы и верификации РПД в ИТМО
Проверка состоит из следующих этапов:
1. Проверка титульного листа на наличие элементов:
– наименование дисциплины;
– направление подготовки и профиль;
– форма контроля;
– семестр реализации;
– трудоемкость дисциплины в соответствии с учебным планом.
2. Информация о разработчике. Проверяется информация о разработчике и структурном подразделении.
3. Компетенции и их индикаторы. Проверка проводится путем сравнения РПД с матрицей компетенций и общей характеристикой ОП. Проверяется код и расшифровка каждой компетенции, заявленной в РПД (при наличии). По каждому индикатору компетенции указываются знания, умения и навыки. Подробно описываются все возможные уровни овладения компетенцией (постреквизиты), но их могут проверить исключительно на наличие, содержательная часть на данный момент проверке ДОД не подлежит. За содержательную часть ответственность несет разработчик РПД.
4. Структура и содержание дисциплины. В этом разделе РПД описываются разделы дисциплины, виды работ, проводящихся в процессе освоения дисциплины, и объем часов, отведенный для каждого раздела. Производится проверка на соответствие выделенного объема часов и общего объема часов дисциплины. Наиболее часто возникают ошибки при подсчете времени, отведенного на контактную работу со студентами. Как правило, сотрудники ДОД вносят правки самостоятельно.
5. Онлайн-курсы. Проверяется наличие онлайн-курсов по дисциплине: если онлайн-курс применен, должны быть указаны разделы дисциплины, в которых он используется. Также проверяются названия и описания разделов дисциплины.
6. Учебно-методическое обеспечение дисциплины. Проверяется список литературы, в котором указываются печатные издания, электронные источники и используемые онлайн-курсы.
7. Оценочные средства.
8. Проверяется соответствие оценочных средств разделам дисциплины и заявленных по ним компетенциям. Кроме того, производится проверка на корректность индикаторов освоения компетенции. Они должны соответствовать указанной компетенции.
9. Проверяется содержательное описание оценочных средств текущего и промежуточного контроля успеваемости по дисциплине.
10. Типы оценочных средств, используемых в Университете ИТМО, представлены
в шаблоне РПД [8].
11. Таблица балльно-рейтинговой системы БаРС. Проверяется наличие и содержание таблицы планирования результатов обучения по дисциплине (БаРС), которая определяет детализацию оценки в баллах всех видов учебной деятельности по дисциплине: видов работ для текущего контроля (лабораторные/практические работы, типовые расчеты и т. п., контрольные точки (тесты, контрольные работы и т. п.)), промежуточной аттестации (зачет, дифференцированный зачет, курсовой проект, экзамен) (для бакалавров и специалистов). Рабочая программа дисциплин для направлений магистратуры не содержит обязательного раздела по БаРС.
Подробно рассмотрев весь процесс проведения проверки РПД сотрудниками ДОД Университета ИТМО, можно сделать следующие выводы:
– отсутствует согласованность в содержательной и технической проверке РПД;
– документооборот производится посредством электронной почты и в бумажном виде. Для оптимизации временных затрат на проведение экспертиз РПД требуется автоматизация данного процесса средствами веб-сервиса.
Изучение процедуры экспертизы в других вузах
Для изучения процессов экспертизы и верификации РПД в других вузах были выбраны университеты России, попавшие в десятку лучших [9]. Среди них были выбраны наиболее узнаваемые вузы:
– Санкт-Петербургский государственный университет (СПбГУ);
– Российская академия народного хозяйства и государственной службы при Президенте РФ (РАНХиГС);
– Национальный исследовательский университет «Высшая школа экономики» (НИУ ВШЭ).
Источниками информации, полученной для сравнительного анализа РПД, стали официальные сайты вузов. Все файлы размещены в открытом доступе.
Так как СПбГУ является не только одним из крупнейших центров российской науки и культуры, но и первым университетом в России, он не мог остаться без внимания. В СПбГУ [10] разработанная РПД поступает на анализ к председателю учебно-методической комиссии и заместителю начальника управления ОП. В случае, если рабочая программа дисциплины нуждается в доработке, они формируют файл с замечаниями по РПД и направляют его разработчику. В случае одобрения РПД попадает на анализ в учебный совет. Если проект принят, его регистрируют в реестре. Если проект не одобрен, его отправляют на корректировку. Алгоритм процесса экспертизы и верификации РПД в СПбГУ представлен на рис. 2.
Рис. 2. Алгоритм экспертизы и верификации РПД в СПбГУ
Российская академия народного хозяйства и государственной службы при Президенте РФ является крупнейшим в России и Европе университетом социально-экономического и гуманитарного профиля. Его алгоритм проведения экспертизы и верификации РПД [11] выглядит следующим образом: первой инстанцией для проверок является предметно-цикловая комиссия. Если документ выполнен корректно, его отправляют к заместителю директора по учебно-методической работе, который отправляет разработчику резолюцию о доработке или извещение об одобрении документа. Для дополнительного проведения экспертизы также могут быть при-влечены внешние эксперты.
Пошаговый алгоритм проведения экспертизы и верификации в РАНХиГСе представлен на рис. 3.
Рис. 3. Алгоритм экспертизы и верификации РПД в РАНХиГС
Следующим был проанализирован процесс проведения экспертизы и верификации РПД
в ВШЭ. Вуз выпускает высококвалифицированных специалистов и – впоследствии – достаточно востребованные кадры, что говорит о высоком качестве обучения.
В ВШЭ экспертиза более сложная, чем в предыдущих примерах. Изначально РПД [12] отправляют ответственному лицу от кафедры. После положительного вердикта документ отправляется заведующему кафедрой, который в итоге рецензирует РПД. Затем программа утверждается ответственным лицом от подразделения, после чего происходит регистрация и публикация РПД на портале «Учебные курсы». Описанный алгоритм представлен на рис. 4.
Рис. 4. Алгоритм экспертизы и верификации РПД в ВШЭ
Достоинствами рассмотренных алгоритмов являются:
– проверка всех аспектов разработанной РПД;
– четкие инструкции по доработке РПД разработчику.
К недостаткам алгоритмов можно отнести следующие аспекты:
– проверка может занимать довольно длительное время;
– проведение проверки сложно реализовать в дистанционном формате.
Разработка нового алгоритма, адаптированного для использования в электронном документообороте
Основываясь на изученных ранее источниках, для разрабатываемого сервиса в Университете ИТМО был разработан алгоритм экспертизы и верификации РПД. Алгоритм, представленный на рис. 5, включает следующие этапы экспертизы:
1. Автоматическая проверка корректности заполнения полей по следующим показателям:
– трудоемкость дисциплины;
– структура и содержание дисциплины;
– оценочные средства.
Если поля не заполнены либо часы работы указаны неверно, отправка РПД для согласования с руководителем структурного подразделения невозможна, что будет указано во всплывающем уведомлении.
2. Успешно заполненная РПД направляется руководителю структурного подразделения, который назначает эксперта для проведения содержательной экспертизы. Руководитель структурного подразделения может провести экспертизу самостоятельно, не назначая экспертов.
3. После успешной экспертизы руководителем структурного подразделения и назначенным экспертом РПД направляется на техническую проверку сотрудниками ДОД. Если документ выполнен верно, его утверждают и размещают на официальном сайте и в системе дистанционного обучения Университета.
4. Если к документу имеются нарекания со стороны ДОД, РПД возвращается на доработку в структурное подразделение. Взаимодействие между участниками процесса осуществляется через электронный чат, который привязан непосредственно к разрабатываемой РПД.
Рис. 5. Алгоритм экспертизы и верификации РПД в разрабатываемом сервисе
Предложенный алгоритм внедрен в разрабатываемый в Университете ИТМО сервис «Конструктор образовательных программ».
Апробация разработанного алгоритма
В данной главе представлена система «Конструктор образовательных программ», разрабатываемая в университете ИТМО. Основной идеей проекта является создание программного модуля, который позволяет формировать РПД в едином унифицированном формате, описывать пререквизиты и постреквизиты дисциплин, а также связывать различные формы учебной деятельности с контролируемыми результатами обучения, которые, в свою очередь, позволяют раскрывать содержание дисциплины. Модули экспертизы РПД позволят автоматизировать про-цесс утверждения РПД. В рамках системы был применен алгоритм, рассмотренный в предыду-щей главе. Для его реализации были разработаны следующие интерфейсы:
– редактирование РПД;
– отправка РПД на экспертизу;
– назначение экспертов;
– проведение экспертизы.
Далее будет подробно рассматриваться каждый из них.
Редактирование РПД. При заполнении РПД в сервисе происходит автоматическая проверка на наличие данных в каждой ячейке. Производится автоматическая проверка корректности введенных часов для каждого вида деятельности и суммарного времени, отведенного для дисциплины (рис. 6).
Рис. 6. Проверка корректности распределения часов по дисциплине
Если при заполнении были оставлены пустые графы либо выявлены ошибки в заполнении, РПД невозможно будет отправить на экспертизу (рис. 7).
Рис. 7. Автоматическая проверка разрабатываемой РПД на наличие технических ошибок
Данная функция позволяет обнаружить технические ошибки разработчика на самых ранних этапах формирования РПД и сэкономить время всем участникам процесса путем предупреждения ошибок.
Отправка на экспертизу. Разработанная РПД попадает в список экспертиз. Руководитель структурного подразделения получает уведомление (рис. 8) о том, что в его подразделении появилась новая экспертиза.
Рис. 8. Уведомление о новой РПД
Руководитель структурного подразделения может назначать экспертов для проверки разработанной РПД. Сотрудники ДОД также могут назначить экспертов для проведения экспертизы.
Список экспертиз доступен сотрудникам ДОД, руководителям структурного подразделе-ния и экспертам, привлеченным к проверке. На рис. 9 представлен интерфейс работы с экспертизами, включающий сортировку РПД по присвоенному статусу.
Рис. 9. Фильтрация РПД по статусу
Рабочая программа дисциплины может находиться в одном из 4 статусов, а именно:
– «в работе» – в разработанном документе были выявлены недочеты, и его отправили на корректировку разработчику;
– «на экспертизе» – стадия экспертной оценки документа;
– «одобрено» – документ выполнен верно;
– «в архиве» – документ больше не используется.
Назначение экспертов. После ознакомительного просмотра РПД руководитель структурного подразделения имеет возможность назначить эксперта для проведения содержательной части экспертизы. Для этого требуется нажать кнопку в правом нижнем углу «+ Добавить эксперта» (рис. 10).
Рис. 10. Поиск и добавление эксперта для проведения экспертизы
После нажатия кнопки появляется окно с полем ввода для поиска нужного эксперта. Такой же функцией могут воспользоваться сотрудники ДОД для добавления эксперта, который сможет провести экспертизу на соответствие РПД формальным требованиям.
Проведение экспертизы. При проведении экспертизы участники проведения экспертизы имеют возможность оставить комментарий в диалоговом окне, расположенном в правом нижнем углу (рис. 11).
Рис. 11. Диалоговое окно при экспертизе РПД
Разработчик в соответствии с оставленными комментариями может внести необходимые корректировки. Эта функция облегчает взаимодействие между всеми участниками процесса, делает его более оптимизированным и оперативным.
Заключение
В статье приводится новый алгоритм проведения экспертизы и верификации для РПД, прошедший апробацию в рамках реализации сервиса «Конструктор образовательных программ». Для презентации разрабатываемого сервиса был проведен вебинар, в котором приняли участие 126 преподавателей Университета ИТМО и 19 сотрудников ДОД. После презентации
у преподавателей была возможность создать новую РПД в сервисе. В дальнейшей апробации участвовало 483 преподавателя. На данный момент в разрабатываемом сервисе опубликовано
6 376 проектов РПД, из них 445 отправлены на экспертизу. Прошли полную проверку и были одобрены на всех стадиях согласования 173 РПД, 39 находятся на экспертизе, 233 отправлены разработчикам на доработку.
Сервис реализует работу и с другими элементами ОП, а именно:
– общая характеристика образовательной программы;
– учебный план;
– календарный учебный график;
– оценочные средства дисциплины;
– рабочие программы практик;
– учебно-методические материалы.
Также в сервисе присутствуют модули, не связанные непосредственно с формальным проектированием образовательной программы, а направленные на индивидуализацию образовательного процесса и, таким образом, представляющие интерес в большей степени для студента, чем для преподавателя. К таким функциям на данный момент относится подбор дисциплин по выбору на основе интересов обучающегося и формирование индивидуальных образовательных траекторий на основе целевых профессий обучающегося.
После презентации и тестирования сервиса преподавателями и сотрудниками ДОД университета был проведен опрос об удовлетворенности процессом, который показал высокий уровень удовлетворенности пользователей интуитивно понятным и удобным интерфейсом. Пользователи отметили, что при разработке и отправке РПД на экспертизу не возникало проблем
с поиском нужных функций в интерфейсе сервиса. По мнению 87 % пользователей, прошедших опрос, отмечается удобство электронного заполнения РПД в разработанном сервисе по сравнению с заполнением РПД в текстовом редакторе Microsoft Word и аналогичных программах. Кроме того, пользователи также заинтересованы в дальнейшем развитии сервиса.
1. Proektirovanie obrazovatel'nyh programm. URL: https://edu.itmo.ru/ru/project_eduprogram/ (data obrascheniya: 09.04.2021).
2. Ocenochnye sredstva i kontrol'no-izmeritel'nye materialy (KIMy). URL: https://www.hse.ru/studyspravka/kim (data obrascheniya: 09.04.2021).
3. Konstruktor obrazovatel'nyh programm. URL: https://op.itmo.ru/ (data obrascheniya: 14.05.2021).
4. Raenko E. F. Issledovanie rabochih programm discipliny dokumentovedcheskogo cikla «Informacionnaya evristika» // Vestn. nauki i tvorchestva. 2016. № 5 (5). S. 384-387.
5. Kryazhev S. A., Levkovskiy D. I. Informacionnaya sistema podderzhki rabochey programmy discipliny // Vestn. YuUrGU. Ser.: Komp'yuternye tehnologii, upravlenie, radioelektronika. 2019. № 3. S. 135-146.
6. Lyamin A. V., Rusak A. V. Zhiznennyy cikl rabochey programmy discipliny v sisteme elektronnogo obucheniya // Informacionnaya sreda vuza XXI veka: materialy V Mezhdunar. nauch.-prakt. konf. (Petrozavodsk, 26-30 sentyabrya 2011 g.). Petrozavodsk: Izd-vo PGU, 2011. S. 121-124.
7. Logachev M. S. Strukturnyy analiz processa podgotovki rabochey programmy uchebnoy disci-pliny // Professional'noe obrazovanie i rynok truda. 2015. № 1-2. S. 42-45.
8. Shablony dokumentov ITMO. URL: https://edu.itmo.ru/ru/project_templates/ (data obrascheniya: 24.05.2021).
9. Reyting VUZov. URL: https://russiaedu.ru/rating (data obrascheniya: 26.05.2021).
10. O novoy redakcii Instrukcii po organizacii ekspertizy rabochih programm uchebnyh disciplin: prikaz prorektora SPbGU ot 12 noyabrya 2013 g. URL: http://www.apmath.spbu.ru/docs/metod/1385548890.pdf (data obrascheniya: 01.06.2021).
11. Polozhenie po sostavleniyu rabochih programm uchebnyh disciplin: prilozhenie № 9 k rasporyazheniyu direktora KMPO RANHiGS № 21 ot 2 fevralya 2021 g. URL: https://kmpo.ranepa.ru/o-kolledzhe/normativnye-dokumenty/doc/Polozhenie po sostavleniyu rabochih programm uchebnyh disci-plin.pdf (data obrascheniya: 01.06.2021).
12. Reglament razrabotki, soglasovaniya i utverzhdeniya programm uchebnyh disciplin. URL: https://economics.hse.ru/data/2020/01/02/1511907803/Reglament podgotovki programm uchebnyh disciplin.pdf (data obrascheniya: 01.06.2021).
