Сотрудничество между университетами и предприятиями является ключевым моментом повышения качества образования и эффективного использования полученных знаний в сфере труда (на предприятиях) [1]. На уровне федеральных государственных стандартов принимаются меры по усилению влияния работодателей на процесс обучения в вузах: привлечение их к разработке образовательных стандартов, аккредитации образовательных программ, обеспечению практической направленности обучения [2].

Формирование компетенций выпускников высших учебных заведений – это процесс, с помощью которого система высшего профессионального образования учитывает требования и потребности общества, рынка труда и самих студентов. Компетенции отражают адекватность работы и поведения специалиста тем условиям, в которых он будет находиться [3], и трудовым задачам, которые он будет решать в ходе профессиональной деятельности. Из анализа научных публикаций по данной тематике следует, что оценка качества профессионального образования не может быть полной без оценки качества результата обучения, т. е. соответствия профессионального уровня выпускника ожиданиям и требованиям рынка труда [4–12].

Основная сложность разработки обучающих материалов для активно развивающихся наукоемких областей, например для IT-сферы по разработке встроенных вычислительных систем, – это ярко выраженная динамика изменений применяемых технологий и требований к умениям и навыкам специалистов отрасли. Кроме того, это большое разнообразие трудовых функций (задач), к решению которых должен быть подготовлен выпускник специализации и многие из которых принадлежат к разным профилям специализации. В существующих моделях, связанных с проектированием практикумов, их информационным обеспечением и оценкой соответствия требованиям рынка труда, не принимаются во внимание перечисленные выше особенности и не учитывается динамическая, «итеративная» природа процесса проектирования практикума. Под «итеративным» проектированием практикума в контексте данного исследования мы понимаем совершенствование (актуализацию) практикума после каждого его прохождения.

Таким образом, во-первых, необходимо предложить модель автоматизированного формирования показателей экспертов с возможностью ее дальнейшего преобразования для переоценки показателей по результатам прохождения практикума. Во-вторых, отсутствуют модели, позволяющие осуществлять автоматизированный отбор учебных задач, формирование траектории и итеративное обновление содержательной части практикумов в соответствии с изменяющимися требованиями рынка труда с помощью экспертных мнений работодателей обучаемых.

Далее изложен подход к решению данной проблемы, а именно предложена модель автоматизированного проектирования практикума на основе мнений работодателей обучаемых в наукоемких областях, подверженных значительным изменениям. Данный подход реализует модель педагогического дизайна курса ADDIE [13] на этапах анализа и проектирования. Характерной особенностью подхода является его применение в наукоемких предметных областях, подверженных значительным изменениям (ежегодное обновление технологий и инструментальной базы). В отличие от подхода, предложенного в [14, 15], в котором используется методика детализации исходных компетенций для планирования и отбора ожидаемых результатов обучения из избыточного содержания образования, данный подход позволяет разрабатывать проект практикума с учетом различных профилей подготовки на основе экспертных мнений потенциальных работодателей выпускников. Это позволяет автоматизировать процессы управления индивидуальными траекториями обучения и адаптировать структуру и содержание практикума для каждого профиля подготовки. Разработан программный комплекс инструментальной и информационной поддержки, реализующий все расчетно-ранжирующие функции – система автоматизированного проектирования практикума. В качестве примера практического применения полученных результатов спроектированы структура и содержание электронного практикума для многопрофильной подготовки бакалавров направления подготовки 09.03.01 «Информатика и вычислительная техника» по дисциплине «Встраиваемые системы».

Общая характеристика подхода

Основная сложность разработки практикумов для активно развивающихся наукоемких областей, например для IT-сферы по разработке встроенных вычислительных систем, – это большое разнообразие трудовых (профессиональных) задач, к решению которых должен быть подготовлен выпускник того или иного профиля подготовки. Под учебной задачей дисциплины в контексте данного исследования подразумевается некая элементарная компетенция – действие или навык, который должен быть отработан обучаемым в рамках профильного практикума и будет являться частью трудовой функции будущего специалиста. Чтобы такой практикум отвечал потребностям рынка труда, требуется привлечение компетентных специалистов с рынка труда в качестве экспертов для отбора и ранжирования актуальных учебных задач с учетом технологий их решения по каждому из профилей подготовки. Предложенный подход предполагает выполнение следующих этапов:

1. Расчет степени доверия к экспертам.
2. Отбор учебных задач для практикума, реализующего многопрофильную подготовку выпускников.
3. Разработка структуры практикума с учетом кортежа оценок каждой учебной задачи для того или иного профиля подготовки.
4. Расчет трудоемкости и оценок (баллов) учебных задач для каждого профиля подготовки в рамках разрабатываемого практикума.
5. Обработка результатов прохождения практикума для его дальнейшего перепроектирования и актуализации.

Расчет степени доверия к экспертам

Данный этап предполагает, что разработчик практикума хорошо знаком с рынком труда и может привлечь компетентных специалистов с целью отбора учебных задач дисциплины для многопрофильной подготовки студентов в этой предметной области. Первичный перечень экспертов формируется из специалистов, компетентных в профессиональной области, соответствующей специализации в целом и дисциплине (профилю) в частности. На первых итерациях проектирования практикума эксперты подбираются самим разработчиком, исходя из потребностей конкретной дисциплины (профиля). Однако при дальнейшем перепроектировании и при накоплении в базе данных системы автоматизированного проектирования достаточного количества экспертов с указанием их профессиональных областей и интересов эксперты могут быть автоматически подобраны системой непосредственно под целевую дисциплину (профиль) практикума. 

После составления списка экспертов необходимо оценить степень доверия их профессиональному мнению. Степень доверия складывается из двух показателей – коэффициента профессионализма эксперта и коэффициента сходства выставленных экспертом оценок с оценками эталонного эксперта. Для этого в экспертном составе определяется эталонный эксперт. Как правило, это специалист, обладающий колоссальным профессиональным и педагогическим опытом (профессиональный и преподавательский стаж более 20 лет) в рамках данной дисциплины (профиля). Таким образом, для многопрофильной специализации, такой как, например, «Проектирование встраиваемых систем», возможно иметь несколько эталонных экспертов, компетентных в разных профилях.

Объективный коэффициент профессионализма экспертной группы формируется исходя из занимаемой экспертами должности, позиции на рынке труда (работник или работодатель), опыта работы по тому или иному профилю и пр. Полный перечень факторов и их весовых коэффициентов представлен в табл. 1.

Таблица 1

Оценка профессионализма эксперта (по профилю)

Оценка каждого эксперта складывается из суммы баллов, набранных экспертом, суммы баллов по всем экспертам и коэффициента профессионализма эксперта. Весовые коэффициенты эталонного эксперта по каждому из факторов принято считать равными 1. Кортеж из оценок профессионализма i-го   эксперта  формируется в пользовательском интерфейсе из введенных разработчиком данных анкетирования по каждому эксперту:

где N_prof   – оценка профессионального опыта эксперта; N_teah   – оценка педагогического опыта; N_project   – количество успешно реализованных проектов, в реализации которых принимал участие эксперт; N_level   – положение на рынке труда (эксперт может являться работодателем или специалистом, который работает по найму); N_pos   – должность эксперта в компании.

После определения коэффициентов профессионализма необходимо оценить, насколько согласуются между собой мнения экспертов. Для этого экспертам предоставляется для рассмотрения набор учебных задач, который сформирован разработчиком практикума «по умолчанию», согласно учебному плану обучаемых, и предлагается оценить каждую из них для данного профиля подготовки на текущий момент.

Эксперты оценивают каждую учебную задачу по 10-балльной шкале по следующим факторам:

•  актуальность учебной задачи (10 – актуальная, 1 – решается крайне редко). Под актуальностью задачи будем понимать субъективно оцененную конкретным экспертом потребность в специалистах, способных решить данную задачу в рамках своей профессиональной деятельности и, что более важно, то, насколько отработанный в решении данной задачи навык позволит сократить время адаптации выпускника на новом рабочем месте;
•  уровень владения технологиями, средствами и методами для решения данной задачи с учетом профессионального профиля (10 – требуется знать в совершенстве, 1 – достаточно понимания элементарных принципов профессиональной области);
•  трудоемкость задачи (предполагаемое время, которое требуется для решения задачи) (10 – трудоемкое решение, нуждающееся в тщательной поэтапной проработке, 1 – решение является шаблонным и не отнимает много времени).

По полученным данным система автоматизированного проектирования практикума формирует матрицу векторов оценок для каждого эксперта и определяет коэффициент сходства – расстояние между выставленными оценками текущего эксперта и оценками эталонного эксперта.

Для этого высчитывается расстояние между матрицей оценок текущего эксперта и матрицей эталонного эксперта:

– матрица оценок i-го эксперта (j факторов и m учебных задач);

– матрица оценок эталонного эксперта (j факторов и m учебных задач).

Расстояние рассчитывается по формуле  и является евклидовой нормой матрицы разности (ρ). Чем сильнее разница в оценках, тем это расстояние больше. Далее вычисляется степень доверия к эксперту (весовой коэффициент):

где a_ij   – оценка i-го эксперта по фактору j; ρ_i   – расстояние матрицы i-го эксперта до эталонной матрицы; ρ_max   – максимально возможное расстояние матрицы i-го эксперта до эталонной матрицы; n – количество экспертов; m – количество факторов.

Итогом выполнения данного этапа является перечень экспертов с рассчитанными степенями доверия. Данный перечень может быть скорректирован разработчиком практикума в зависимости от результатов проведенных расчетов. Необходимо отметить, что процедура оценивания перечня учебных задач на этапе расчета степени доверия к экспертам проводится исключительно для расчета коэффициента сходства и степени доверия. Итоговые оценки учебных задач будут скорректированы на этапе их отбора с учетом степеней доверия экспертов.

Следует дополнительно отметить, что степень доверия и оценки эталонного эксперта считаются неоспоримыми лишь при первом проектировании практикума. При дальнейшем перепроектировании (актуализации содержимого) практикума в наукоемкой области в качестве дополнительного корректирующего фактора будут выступать статистические данные обратной связи, собранные по результатам прохождения студентами текущей итерации практикума.

Отбор учебных задач дисциплины для практикума

После того как состав экспертной группы сформирован и рассчитана степень доверия для каждого эксперта, необходимо сформировать актуальный перечень учебных задач для текущего практикума.

Процедура формирования заключается в следующем: эксперту предложено предоставить рекомендации – выбрать для каждой задачи технологии и методы решения, которые, по его мнению, являются в настоящее время актуальными, дополнить и расширить список задач и оценить их (если этого не было сделано ранее) по трем вышеописанным факторам – актуальность, сложность и трудоемкость.

Каждой задаче присваиваются текстовые теги в соответствии с технологиями, языками программирования и методами решения, рекомендованными экспертами. По данным тегам системой автоматизированного проектирования практикума проводится кластерный анализ перечня задач – задачи разбиваются на кластеры по тематикам, основанным на технологиях и инструментах реализации задач. Каждый кластер доступен разработчику для просмотра. Такая обработка перечня задач практикума на данном этапе исследования делает возможной проверку формулировок задач разработчиком практикума – в ходе дополнения списка задач разными экспертами могут быть внесены схожие задачи с незначительной разницей в формулировках. В этом случае задачи будут находиться внутри одного кластера, и разработчик практикума может отобрать одну из предложенных формулировок. Следует отметить, что в данной реализации системы автоматизированного проектирования авторами не предусмотрен семантический анализ формулировок с целью автоматического исключения задач, схожих по технологиям и незначительно отличающихся по формулировкам. Поэтому на данный момент предполагается, что задача исключения из списка идентичных задач будет решаться разработчиком практикума до или после кластерного анализа. В дальнейшем планируется решить данную проблему с помощью внедрения в систему блока семантического анализа, однако даже наличие такого блока не гарантирует, что не потребуется вмешательство разработчика практикума.

После того как рекомендации экспертов внесены в систему, автоматически формируется полный список учебных задач, для каждой из которых определен кортеж средних оценок с учетом степени доверия экспертов  , рассчитанных по формулам

где ∆C   – средняя оценка фактора актуальности ∆C_act  , сложности ∆C_complex   и трудоемкости ∆C_time  ; C_{act i}  , C_{complex i}     и C_{time i}   – оценки i-го эксперта по данному фактору для данной задачи; k_i   – коэффициент доверия i-го эксперта; N   – количество экспертов.

Результат выполнения данного этапа – сгенерированный системой автоматизированного проектирования тегированный и кластеризованный по тематикам перечень учебных задач, каждой из которых поставлен в соответствие кортеж оценок задач, рассчитанных с учетом степеней доверия экспертов. 

Разработка структуры практикума

Обработка результатов выполнения предыдущего этапа позволяет спроектировать для каждого профиля свою предварительную структуру практикума. В ней выделяются две части – основная и дополнительная. Основная часть содержит перечень учебных задач, технологий и методов их решения, которые должен освоить обучаемый в отведенные часы практических или лабораторных занятий. Дополнительная часть может быть рекомендована к выполнению в рамках самостоятельной работы обучаемых для повышения уровня знаний или отработки базовых навыков. При этом кортежи оценок каждой учебной задачи оказывают влияние на долю текущей задачи в общей трудоемкости практикума, состав материалов для отработки, максимальный балл за ее решение и расположение задачи в траектории обучения.

Формирование траектории обучения каждого профиля проводится с помощью ранжирования в соответствии со смысловым наполнением факторов оценки задач:

1. Ранжирование по фактору актуальности. В соответствии с полученными рангами задач по фактору актуальности отбираем задачи, чей показатель актуальности больше половины от максимально возможного значения коэффициента (данное пороговое значение может быть изменено по усмотрению разработчика и зависит от количества часов, отводимых на практикум в рамках учебной программы). Данные задачи включаются в перечень образовательного материала основного блока практикума. Остальные задачи могут быть включены в дополнительный образовательный блок или полностью исключены из траектории обучения.

2. Ранжирование по фактору уровня базовой подготовки. Данное ранжирование позволяет определить порядок размещения задач в траектории обучения. Чем выше ранг задачи, тем выше должен быть уровень подготовки студента и тем выше балл (доля от общей оценки за курс практикума), который студент получает в результате успешного выполнения задания. Задачи более высокого ранга целесообразно размещать после низкоранговых задач, которые позволят студенту вначале выработать необходимый профессиональный опыт и только потом переходить к решению более сложных и трудоемких задач. В системе автоматизированного проектирования разработчик может указать базовый уровень подготовки студентов, для которых предназначен практикум.

После выполнения данного этапа система автоматизированного проектирования предоставляет разработчику несколько вариантов тематической структуры и наполнения основной и дополнительной частей практикума по профилю подготовки в зависимости от указанного уровня подготовки обучаемых. Разработчик может выбрать оптимальный вариант структуры и при необходимости вручную скорректировать предложенную траекторию обучения.

Расчет трудоемкости и оценок (баллов) учебных задач в практикуме

Расчет трудоемкости и оценок (баллов) учебных задач осуществляется для конкретного практикума в зависимости от того, какую длительность практикума и какую суммарную оценку (балл) за весь практикум указывает разработчик. На основе кортежа оценок задачи рассчитывается ее весовой коэффициент, который оказывает влияние на долю текущей задачи в практикуме относительно общей трудоемкости практикума и максимальный балл текущей задачи в общей оценке за весь курс. Расчет весового коэффициента задачи осуществляется по формуле

где W_i   – весовой коэффициент i-й учебной задачи; C_i – экспертная оценка важности i-го фактора учебной задачи в баллах (от 1 до 10); K_j   – степень доверия j-го эксперта; n – количество учебных задач практикума; m   – количество факторов оценки.

В соответствии с весовым коэффициентом задаче отводится доля от общей трудоемкости и доля от общего балла проектируемого практикума. 

Таким образом, после завершения данного этапа разработчик получает проект практикума, включающий перечень основных и дополнительных задач, которые необходимо решить обучаемому в рамках данной дисциплины (курса), с рассчитанными на основе экспертных мнений оценкой их трудоемкости и баллами за решение. Кроме того, система автоматизированного проектирования позволяет просматривать экспертные рекомендации по применению технологий, методов, языков программирования и уровню подготовки студентов, наиболее подходящие для решения каждой задачи с точки зрения потребностей рынка труда.

Обработка результатов прохождения практикума

Результаты прохождения данного практикума используются в качестве статистических данных для дальнейшего перепроектирования практикума. Электронные практикумы позволяют собирать такие данные, как баллы, полученные студентами за каждую задачу, время, затраченное на решение каждой из задач, количество попыток, финальная оценка за практикум и оценка самого практикума студентами с точки зрения снижения времени адаптации при прохождении производственной практики. Практикум, не являющийся электронным, позволяет фиксировать, как минимум, количество баллов, набранных студентом на каждой из задач, финальную оценку и отзыв. В некоторых случаях можно также зафиксировать количество попыток, предпринятых к решению задачи.

Данная статистика может быть использована как для обработки результатов «вручную», так и для автоматического регрессионного анализа. С помощью такого анализа выявляется «фактическая» значимость каждой из задач для конкретного студента и для всех студентов в целом – вес (значимость) каждой задачи в сложной функции зависимости результирующей оценки полезности практикума от степени освоения студентом каждой из задач.

Для анализа используется модель логистической регрессии, функция активации (логит-функция) которой представлена в формуле , где f(z)   – логистическая функция регрессии. По умолчанию входными данными модели являются баллы студентов за каждую из задач (количество входных переменных равно количеству задач практикума), а выходными – оценка снижения времени адаптации:

где z   – функция линейной регрессии; t – вектор-столбец значений оценок (баллов) за каждую из задач; θ – искомый вектор-столбец значений весов каждой из задач практикума; n – количество задач практикума.

Разработчик может внести дополнительные входные данные, например количество попыток при прохождении студентом задачи. Но т. к. увеличение количества входных переменных может привести к усложнению задачи поиска зависимостей с помощью логистической регрессии, вносимые разработчиком практикума дополнительные параметры проходят предобработку. Выявляется степень их влияния на оценку студента по данной задаче и по полученным данным корректируется входная переменная каждой из задач –  , где t_(ch)n   – оценка n-й задачи, скорректированная с учетом первоначальной оценки t_n  , количества затраченных за задачу попыток Count_n и времени Time_n  .

Полученные после регрессионного анализа веса входных переменных θ – рассчитанная «фактическая» значимость задач практикума. Расхождение «фактических» и расчетных оценок значимости задач является основанием для пересмотра:

• содержания практикума – если обратная связь показала неактуальность текущего содержания;
• реализации задач и структуры практикума – если по собранным данным видно, что студенты испытывают сложности с пониманием и решением конкретных задач;
• весовых коэффициентов экспертов – в случае, если возникает существенная разница между выставленными экспертом и фактическими оценками значимости, сложности и трудоемкости задач.

Также считаем необходимым отметить, что применение методов машинного анализа не исключает «ручную» обработку обратной связи от стейкхолдеров практикума, а только позволяет выявить связи между переменными с неочевидной функцией зависимости. В качестве дальнейшего направления исследований в области обработки статистических данных практикума предполагается адаптация методов машинного анализа с учетом наличия взаимных зависимостей между входными переменными – оценками задач практикума. 

Практическое применение предложенного подхода

Описанный подход применен к проектированию электронного практикума для многопрофильной подготовки бакалавров направления 09.03.01 «Информатика и вычислительная техника» в рамках дисциплины «Встроенные системы» факультета программной инженерии и компьютерной техники Университета ИТМО. Итогом применения предложенного подхода является структура электронного практикума. Также получены траектории обучения по каждому из профилей данной специальности, сформирована методика оценивания задач основного и дополнительного блоков практикума. В табл. 2 представлена разработанная структура практикума по профилю «Программист микроконтроллеров» в рамках практикума «Встроенные системы» – перечень учебных задач, их трудоемкость и максимальная оценка за решенную задачу.

Таблица 2

Структура практикума по профилю
«Программист микроконтроллеров» в рамках дисциплины «Встраиваемые системы»

Для разработки электронного практикума в качестве экспертов были привлечены 30 представителей ведущих компаний российского (ООО «Синтакор», ООО «ЛМТ», ООО «НПО «Старлайн» и др. – 75 %) и зарубежного (Nokia Tampere, Flextronics USA, Intel Labs – 25 %) рынков труда. В состав экспертов было решено включить с соответствующими поправками степени доверия недавних выпускников – молодых специалистов с опытом работы от полугода до трех лет после окончания вуза – наличие экспертов данной категории позволяет оценить положительные и отрицательные тенденции подготовки специалистов данного направления в последние годы. В качестве эталонного эксперта был выбран генеральный директор одной из представленных компаний – специалист в области проектирования встраиваемых систем с профессиональным и педагогическим стажем более 40 лет, под руководством которого компания успешно завершила более 25 крупных проектов. Кроме того, данный эксперт является руководителем международной лаборатории «Архитектура и методы проектирования встраиваемых систем и систем на кристалле» и руководителем направления подготовки магистров специализаций, связанных с проектированием аппаратного и программного обеспечения встраиваемых систем в Университете ИТМО. С учетом вышеперечисленного разработчиками курса было решено принять мнение данного эксперта в качестве эталонного относительно содержания практикума.

Практикум предполагает индивидуальные траектории обучения для нескольких профилей данной специальности. Общая трудоемкость основной части практикума – 32 академических часа. Так как предполагается, что практикум заменит студентам лабораторную часть дисциплины, максимальный балл, который может набрать обучаемый за успешное решение задач основной части практикума – 50. Успешно решенные задачи дополнительной части оцениваются по усмотрению преподавателя. Статистические данные, полученные после завершения практикума, будут использованы для его перепроектирования и актуализации для последующих итераций (учебный план направления подготовки позволяет проводить ежегодное обновление структуры и содержания данного практикума).

По прогнозам разработчиков и преподавателей курса, данный практикум позволит повысить качество подготовки специалистов за счет сформированного с учетом экспертных мнений работодателей перечня актуальных учебных задач дисциплины, их высокой практической ценности и, как следствие, высокого уровня мотивации обучаемых в получении востребованных на рынке труда профессиональных практических навыков.

Заключение

Предложен подход к проектированию структуры и содержания адаптивного электронного практикума в наукоемких областях, подверженных значительным изменениям в вопросах используемых технологий и требований к умениям и навыкам специалистов данных областей. Данный подход основан на методике отбора учебных задач дисциплин на базе экспертных мнений работодателей обучаемых. В основе лежит адаптивная модель ранжирования учебных задач профессионального профиля с учетом факторов актуальности и базовой подготовки.

В рамках подхода разработана программная система автоматизированного проектирования практикума, реализующая все расчетно-ранжирующие функции, описанные в данной работе. По результатам экспертных опросов, внесенных в систему экспертных оценок и рекомендаций автоматически формируется полный перечень тегированных значимых учебных задач и проводится его кластеризация по тематикам. Согласно введенному правилу оценки, расчета весовых коэффициентов для каждой из учебных задач и правилу ранжирования отобранные задачи располагаются в оптимальном для изучения порядке и формируется траектория обучения для каждого профессионального профиля. По заданным разработчиком параметрам длительности, максимальной оценки и уровня базовой подготовки студентов выстраивается структура практикума, а для выбранных задач определяется трудоемкость в академических часах и максимальный балл за выполнение в рамках практикума.

Преимущество предложенного подхода заключается в том, что данная методика позволяет своевременно корректировать содержание и структуру практикумов многопрофильной подготовки обучаемых в областях, подверженных значительным изменениям, с помощью экспертного мнения представителей рынка труда – работодателей и специалистов. Таким образом, можно актуализировать содержание практической части курса в рамках рабочей программы дисциплины и усовершенствовать существующую модель подготовки, чтобы обучаемые были конкурентоспособны в условиях современного производственного процесса.

1. Murav'eva A. A., Aksenova N. M. Vzaimodeistvie vysshei shkoly s sub"ektami sfery truda - vyzovy i vzaimnye vygody [Interaction of higher education with subjects of labor industry: challenges and mutual benefits]. Vestnik Moskovskogo gosudarstvennogo oblastnogo universiteta. Seriia: Pedagogika, 2014, no. 4, pp. 8-15.

2. Balganova E. V., Bogdan N. N. Otsenka rabotodateliami kompetentsii budushchikh spetsialistov v sfere upravleniia personalom kak osnova sovershenstvovaniia obrazovatel'nogo protsessa [Employers' assessment of competencies of future specialists in personnel management as basis for improving educational process]. Professional'noe obrazovanie v sovremennom mire, 2016, vol. 6, no. 2, pp. 290-296. DOI: 15372/PEMW20160214.

3. Chekalina T. A. Teoreticheskie osnovy formirovaniia kompetentsii studentov vuzov [Theoretical foundations of forming competencies of university students]. Molodoi uchenyi, 2013, no. 2 (49), pp. 411-413.

4. Morozova E. A. Vzaimodeistvie vuzov i rabotodatelei kak uslovie kachestvennoi podgotovki vypusknikov: mneniia ekspertov [Interaction of universities and employers as a condition for quality training of graduates: expert opinions]. Vestnik Kemerovskogo gosudarstvennogo universiteta. Seriia: Politicheskie, sotsiologicheskie i ekonomicheskie nauki, 2016, no. 1, pp. 70-76.

5. Subetto A. I. Otsenochnye sredstva i tekhnologii attestatsii kachestva podgotovki spetsialistov v vuzakh: metodologiia, metodika, praktika [Evaluation tools and technologies for certification of quality of specialists training in universities: methodology, methods, practice]. Gatchina, Izd-vo Leningr. obl. in-ta ekonomiki i finansov, 2006. 329 p.

6. Subetto A. I. Ontologiia i epistemologiia kompetentnostnogo podkhoda, klassifikatsiia i kvalimetriia kompetentsii [Ontology and epistemology of competency-based approach, classification and qualimetry of competencies]. Saint-Petersburg, Moscow, Issledovat. tsentr problem kachestva podgotovki spetsialistov, 2006. 72 p.

7. Baidenko V. I., Selezneva N. A. Gosudarstvennyi obrazovatel'nyi standart vysshego professional'nogo obrazovaniia novogo pokoleniia kak kompleksnaia norma kachestva vysshego obrazovaniia: obshchaia kontseptsiia i model' [State educational standard of higher education of new generation as integrated quality standard of higher education: general concept and model]. Problemy standartizatsii v obrazovanii i puti ikh resheniia. Moscow, Issled. tsentr problem kachestva podgotovki spetsialistov, 2009. 42 p.

8. Zimniaia I. A. Kliuchevye kompetentsii - novaia paradigma rezul'tata sovremennogo obrazovaniia [Key competencies as new paradigm of modern education result]. Eidos: internet-zhurnal, 2006. Available at: http://www.eidos.ru/journal/2006/0505.htm (accessed: 29.04.2019).

9. Shikhov Iu. A., Iushkova V. V. Struktura kvalimetricheskoi kompetentsii bakalavra tekhnologicheskogo obrazovaniia [Structure of qualimetric competence of bachelor in engineering specialities]. Vysshee obrazovanie segodnia, 2012, no. 3, pp. 21-23.

10. Naumova H. A. Sistema otsenki kachestva znanii studentov v vuze [System of assessing quality of knowledge of students in high school]. Vestnik Rostovskogo gosudarstvennogo ekonomicheskogo universiteta (RINKh), 2009, no. 1, pp. 319-324.

11. Fomina N. B. Novaia mnogourovnevaia model' otsenki kachestva obrazovaniia. Opyt monitoringovykh issledovanii [New multi-level model for assessing quality of education. Monitoring research experience]. Moscow, Novyi uchebnik Publ., 2009. 126 p.

12. Gagne R. M. The Conditions of Learning and Theory of Instruction. Wadsworth Pub Co, 1985. 361 p.

13. Vasil'ev V. N., Lisitsyna L. S. Planirovanie i otsenivanie ozhidaemykh rezul'tatov osvoeniia kompetentsii FGOS VPO [Planning and assessing expected results of mastering competencies of Federal State Educational Standard of Higher Professional Education]. Nauchno-tekhnicheskii vestnik informatsionnykh tekhnologii, mekhaniki i optiki, 2013, iss. 2 (84), pp. 142-148.

14. Lisitsyna L. S. Pedagogicheskii dizain elektronnykh kursov [Pedagogical design of e-courses]. Saint-Petersburg, Izd-vo Un-ta ITMO, 2018. 67 p.

15. Grigor'ev A. V., Kozin P. A., Ostapchuk A. V. Metodika opredeleniia znacheniia vesovykh koeffitsientov s uchetom kompetentnosti privlekaemykh ekspertov [Methodology for determining weight coefficients taking into account competence of experts involved]. Imushchestvennye otnosheniia v Rossiiskoi Federatsii, 2004, no. 8, pp. 73-83.