HYBRID MODEL FOR CONSTRUCTING INDIVIDUAL EDUCATIONAL TRAJECTORY BASED ON DIGITAL TWINS
Authors:
1.
Siberian State University of Telecommunications and Information Science
(Head of the Department of Career Guidance)
employee
employee
2.
Kubanskiy gosudarstvennyy universitet
(Candidate of Technical Sciences, Assistant Professor; Assistant Professor of the Department of Information Technology)
Russian Federation
Russian Federation
3.
Siberian State University of Telecommunications and Information Science
(Candidate of Technical Sciences; Assistant Professor of the Department of Mathematical Modeling and Digital Development of Business Systems)
Russian Federation
Russian Federation
4.
Kuban State University
(Candidate of Technical Sciences; Assistant Professor of the Department of Information Technology)
Russian Federation
Russian Federation
Type:
Article
Pages:
from 126
to 136
Status:
Published
Received:
26.10.2021
Accepted:
29.10.2021
Published:
29.10.2021
Subject area:
UDK 37 Образование. Воспитание. Обучение. Организация досуга
Language:
Russian
Keywords:
labor market requirements, student’s needs, individual educational trajectory, educational content, semantic proximity, hybrid model
Abstract (English):
The article focuses on building an individual educational trajectory of a university student. This concept is formalized in the form of a hybrid mathematical model. This model is based on a structural model of educational competence. In this case, the competence is a basic construct of the educational program, it acts as a prototype of the structural model of individualized educational content. The main source of semantic and control information is the digital twin sys-tem. The digital double of the educational program formalizes its structure and content in strict ac-cordance with the regulatory requirements of federal state educational standards. The digital twin of a student fixes and processes his digital tracks throughout his life. The digital twin of the labor market formalizes the structure of a certain segment of the labor market in the context of the re-quirements for professional and personal qualities of specialists. There has been substantiated the need for proactive management of restructuring and rebranding the professional educational pro-grams in accordance with the changes at the labor market. A significant contribution to the man-agement of these evolutionary processes is made by the dynamics of a student’s activity, which is reflected in his digital traces. Hybridization of these digital twins into the system of constructing individual educational trajectory allows the semantic marking and weighing of the educational situation and projected content. Based on a suspended educational content and taking into account the regulatory requirements of educational standards and additional requirements of the educational organization, optimization modeling of an individual educational trajectory in its structural and meaningful context is carried out. The study of the structural features of the constructed hybrid mathematical model made it possible to determine and substantiate its rational structure.
The article focuses on building an individual educational trajectory of a university student. This concept is formalized in the form of a hybrid mathematical model. This model is based on a structural model of educational competence. In this case, the competence is a basic construct of the educational program, it acts as a prototype of the structural model of individualized educational content. The main source of semantic and control information is the digital twin sys-tem. The digital double of the educational program formalizes its structure and content in strict ac-cordance with the regulatory requirements of federal state educational standards. The digital twin of a student fixes and processes his digital tracks throughout his life. The digital twin of the labor market formalizes the structure of a certain segment of the labor market in the context of the re-quirements for professional and personal qualities of specialists. There has been substantiated the need for proactive management of restructuring and rebranding the professional educational pro-grams in accordance with the changes at the labor market. A significant contribution to the man-agement of these evolutionary processes is made by the dynamics of a student’s activity, which is reflected in his digital traces. Hybridization of these digital twins into the system of constructing individual educational trajectory allows the semantic marking and weighing of the educational situation and projected content. Based on a suspended educational content and taking into account the regulatory requirements of educational standards and additional requirements of the educational organization, optimization modeling of an individual educational trajectory in its structural and meaningful context is carried out. The study of the structural features of the constructed hybrid mathematical model made it possible to determine and substantiate its rational structure.
Keywords:
labor market requirements, student’s needs, individual educational trajectory, educational content, semantic proximity, hybrid model
labor market requirements, student’s needs, individual educational trajectory, educational content, semantic proximity, hybrid model
Введение
Важным аспектом высшего образования в условиях цифровой трансформации является индивидуализация образовательного процесса с разработкой индивидуальных образовательных траекторий. Это обеспечит совершенствование содержания образовательных программ и повышение их востребованности на основе предложения образовательного продукта, привлекательного в первую очередь для работодателей, а также для абитуриентов. Каждый обучающийся индивидуален и склонен к определенной профессиональной направленности, которая выражается его способностями: профессиональными качествами личности. С другой стороны, имеется рынок труда с присущими ему потребностями, которые выражаются в требуемых профессиональных требованиях (компетенциях) к кандидатам на замещение определенных вакансий. При этом данные требования обладают значительной изменчивостью, в то время как образовательные программы не настолько динамичны в своей изменчивости. Создание условий для непрерывного развития образовательных программ и управляемости этого процесса требует разработки специализированных информационных технологий организации образовательных программ. В силу высокой сложности и неопределенности образовательной деятельности эти информационные технологии должны базироваться на основе структурно-содержательных математических моделей, сочетающих методы системного анализа, интеллектуального анализа данных, имитационного моделирования, мягких и эволюционных вычислений, а также прогрессивных цифровых технологий, наиболее яркими из которых на сегодняшний день являются цифровые двойники. Цифровой двойник (ЦД) представляет собой технологию, создаваемую с целью усовершенствования работы физических объектов, процессов и систем на основе их компьютерных моделей. Данная технология впервые стандартизирована в России [1] и выступает основой цифровой трансформации в любой области деятельности, в том числе в образовании.
Постановка задачи
Целью исследования обозначим разработку и исследование гибридной модели построения индивидуальной образовательной траектории на основе цифровых двойников, находящихся под непосредственным влиянием рынка труда и субъектов образовательной деятельности. Индивидуальная образовательная траектория (ИОТ) – это персональный путь освоения образовательной программы (ОП), который состоит из модулей и размечен маркерами, выражающими соотношения между способностями и потребностями обучающегося и содержанием ОП, между содержанием ОП и структурой и потребностями рынка труда. В июле 2021 г. Министерство образования и науки РФ разработало стратегию цифровой трансформации науки и высшего образования [2]. Стратегия предписывает к 2024 г. 100 % ОП реализовывать посредством ИОТ. Ожидается, что это обеспечит совершенствование содержания ОП и повышение их востребованности на основе предложения привлекательного образовательного продукта.
Для четкого понимания взаимосвязи элементов ИОТ рассмотрим математическую структурно-содержательную модель, используя как неупорядоченные конечные наборы элементов, обладающих одним общим для них свойством (множества), так и упорядоченные конечные наборы элементов, которые могут повторяться, но не могут изменяться (кортежи).
Архитектуру модели рассмотрим на примере [3]. Пусть – множество учебных дисциплин. Каждая дисциплина является множеством элементов дисциплины, так называемых академических единиц, и представляет собой объединение двух непересекающихся множеств:
(1)
где – множество обязательных элементов дисциплины, определяющих ее минимальный состав; – множество вариативных элементов дисциплины, определяющих ее специфику относительно профиля. Множество обязательных элементов дисциплины может быть формализовано как следующий кортеж:
(2)
где FFT – аудиторная работа; IS – самостоятельная работа; A – контроль. Множество вариативных элементов дисциплины может быть представлено как следующий вектор:
(3)
где – индивидуальные j-е проекты по i-й дисциплине для выполнения в рамках ИОТ.
Необходимо построить ИОТ так, чтобы соблюдался данный порядок освоения элементарных результатов обучения – знаний, умений, навыков (ЗУН), обеспечивалось соблюдение норм и требований образовательных стандартов и имело место достаточное пересечение множества осваиваемых ЗУН с потребностями рынка труда и обучающегося. Данная задача, учитывая ее высокую размерность в масштабе нескольких десятков дисциплин по данному направлению подготовки и потенциально неограниченного числа потребностей, является NP-сложной и требует разработки комплексной математической модели с применением нетривиального математического аппарата.
Фундаментом для решения данной задачи будем считать детализированную структурную модель образовательного контента. В ее основу положим структуру компетентностной модели направления подготовки, разработанную и исследованную авторами в ряде научных работ, наиболее представительными из которых можно считать статью [4]. Аналитическое представление этой структуры формализовано в виде множества взаимосвязанных двувершинных графов:
, , ,
, , ; (4)
, , , , ,
где – модель i-й компетенции; , и – базовый, образующий и дополнительный ЗУН ; – личностное качество; – контрольное задание; – связь между двумя (так называемая ядерная связь); , и – связи от , от и от к ; – связи ЗУН всех типов с проверяющими их контрольными заданиями; – двувершинные графы, моделирующие связи между ; , , – двувершинные графы, связывающие
и с ядром; – двувершинные графы, связывающие ЗУН с контрольными заданиями; – входящая внешняя связь, : ; – исходящая внешняя связь. Также на этой модели вводится понятие базиса компетенции , . Базис компетенции определен в [4] как связанная подструктура ЗУН на модели (4), выражающая некоторую субспособность как агрегатную часть компетенции, и представляет собой ациклический подграф на модели с началом в и конце в . Базис ложится в основу индикатора достижения компетенции и, как будет показано далее, является главным конструктом ИОТ. Полную совокупность указанных компонентов, в том числе пограничных компонентов – контрольных заданий, обозначим как множество , а его элементы, относящиеся к r-й компетенции – .
Между тем для решения задачи построения ИОТ в данной модели недостает содержательных компонентов образовательного контента, явным образом устанавливающих отношение между всеми компонентами компетенции и учебными дисциплинами, а именно через компоненты (академические единицы) дисциплин , отраженных в элементах кортежа (2) и вектора (3). Эти компоненты обозначим , где – число академических единиц в составе контента i-й учебной дисциплины. Связи между академическими единицами и компетенцией устанавливаются с ее элементами , и . Следовательно, актуальны связи, представленные двувершинными графами , , , .
В такой постановке задачи формальное представление ИОТ есть множество как совокупность компонентов , которым в модели (4) поставлены в соответствие компоненты , значимые с точки зрения соответствия потребностям рынка труда и обучающегося:
(5)
(6)
где – совокупное множество компонентов ИОТ; – множество двувершинных графов компетенций на модели (4); – множество двувершинных графов , соединяющих академические единицы из множества ; – значимость компонента компетенции, для которого выполняется условие ; – заданный минимальный порог значимости. Определяющим фактором включения графа в модель ИОТ является соблюдение условия (6). При этом значение может варьировать в зависимости от фактического распределения оценок значимости на множестве компонентов модели . Таким образом, величина является регулирующим фактором при построении ИОТ, определяя ее структурную модель. Такая модель формализует ИОТ на микроуровне и представляет ценность для проектировщика и тьютора, курирующего реализацию ИОТ обучающимся. С точки зрения же обучающегося интерес представляет содержательная модель ИОТ, определяющая фактическое содержание его инди-видуальной образовательной программы в компонентах множеств (1)–(3). Для формализации построения содержательной модели ИОТ задействуем механизмы цифровых дойников, разработка которых в последнее время активно ведется в Кубанском государственном университете и Сибирском государственном университете телекоммуникаций и информатики, что нашло отражение в совместном межвузовском исследовании [5].
Использование цифровых двойников для планирования ИОТ
Цифровой двойник образовательной программы (ЦД ОП) является важным компонентом модели построения ИОТ. Каждый компонент множеств , , на модели образовательного контента (4) характеризуется текстовой формулировкой , , . Идентификация посредством семантического анализа в их соотнесении с формулировками потребностей рынка труда и обучающегося составляет суть задачи построения ИОТ. Данная задача решена с применением онтологического подхода, что отражено в монографии [5]. Элементы были получены посредством выгрузки и автоматизированного анализа данных
с агрегатора вакансий www.hh.ru по Новосибирскому региону в сфере IT.
Основная задача ЦД ОП – семантическая разметка образовательного контента. Данная модель разработана в [5]. С ее помощью решены задачи оценивания адекватности образовательного контента структуре рынка труда, соответствия некоторого сегмента рынка труда наличествующему образовательному контенту, а также интегральной степени взаимного соответствия рынка труда и образовательного контента. Это позволяет принимать управленческие решения по максимизации соответствия, обеспечивая тем самым повышение качества подготовки специалистов. Данная модель может быть использована для решения задачи построения ИОТ. Для этого компоненты на структурной модели (4) оцениваются мощностью соответствующей им классификационной группировки, причем именно с точки зрения их соответствия структуре рынка труда. Важность освоения компонентов , определяется величиной этой мощности. Однако эта оценка явно лишена такой важной характеристики ИОТ, как индивидуальность. Для устранения этого недостатка разрабатывается цифровой двойник обучающегося (ЦДО).
Согласно определению ИОТ, данному авторами в монографии [5], это ОП, которая предназначена для обучения конкретного обучающегося, определяется образовательными потребностями, индивидуальными способностями и возможностями обучающегося (уровень готовности к освоению ОП). Данная информация очень многообразна и для ее эффективной аккумуляции и переработки интегрирована в ЦДО. В этой модели практически каждая сущность содержит либо конкретные формулировки (например, опыт работы или научные публикации), либо рейтинговые оценки экземпляров сущностей, содержащих такие формулировки (например, успеваемость).
Фасетная классификация компонентов относительно ключевых сущностей ЦДО позволит получить индивидуалистичные оценки актуальности , для данной ИОТ ориентировочно требованиям рынка труда и сообразно личностному портрету и цифровым следам обучающегося. Учитывая разноплановость этих оценок, а также разную степень значимости фасетов, отражающих классы анализа структуры рынка труда и сущности ЦДО, расчет интегральной оценки актуальности относительно p-го сегмента рынка труда для s-го обучающегося:
(7)
где – множество семантических единиц, входящих в состав требований p-го сегмента рынка труда; – множество экземпляров сущностей ЦДО, определяющих s-го обучающегося; – степень классификации l-го элемента r-го обучающегося по отношению к , ; – степень классификации j-го элемента p-го сегмента рынка труда по отношению
к , ; и – коэффициенты значимости соответствующих требований рынка труда
и сущностей ЦДО, причем , , , . Множества и определяются на модели (4). На этой же модели определены множества в отношениях с компонентами компетенций. Коэффициенты и могут быть оценены экспертными оценками с применением метода анализа иерархий. Этот метод широко применяется для принятия решений с измеряемыми и неизмеряемыми критериями на основе экспертных суждений.
Недостатком полученных таким образом оценок является их не ограниченная сверху область значений. Верхняя граница этой области будет возрастать пропорционально росту числа меток компонентов , Из-за этого невозможно достоверно утверждать полное совпадение сопоставленных формулировок, а лишь констатировать их высокую степень соответствия. К тому же данная оценка не соответствует ее свойству в формализме ИОТ (5). Решением данной проблемы, а также существенным упрощением рассмотренного выше решения может выступить методика расчета оценки семантической близости формулировок.
Семантическая близость текстовых формулировок определена в [6] как мера соответствия этих формулировок по контексту. Формально это отображение , которое ставит
в соответствие паре текстовых элементов действительное число , причем
и . В статье [7] автор для сопоставления аннотаций литературных источников исследует 7 различных метрик семантической близости текста: N-Gram Containmen, N-Gram Jaccard, Levenstein Comparator, Longest Common Subsequence Comparator, Greedy String Tiling, Longest Common Substring Comparator, Cosine Similarity. Все они подробно рассмотрены в [8–11]. Для решения задачи применяется машинное обучение на языке программирования Python с использованием библиотеки Scikit-learn. При этом хорошие результаты были получены путем применения линейной алгебры посредством векторизации текстовых формулировок и сравнения их по метрике Cosine Similarity. Хорошие результаты показали классификаторы, обученные даже на таких простых признаках, как значения строковых метрик.
Рационализация состава ИОТ
В результате семантического анализа формулировок мы имеем образовательный контент, взвешенный оценками (7) относительно структуры рынка труда и цифровых следов обучающегося. При этом множество (5) включает все академические единицы, удовлетворяющие условию (6), и с точки зрения принципа рациональности (минимальной достаточности) страдает существенной избыточностью.
На уровне модели (4) ИОТ представляется связанной последовательностью базисов (см. пояснения к формуле (4)). Такую модель ИОТ будем называть структурной.
Необходимые требования к структурной модели ИОТ:
минимальное покрытие структурой ИОТ всех индикаторов достижения каждой компетенции ОП;
соблюдение в отношении компонентов условия (6).
Дополнительные требования к структурной модели ИОТ:
включение в модель основных ЗУН (см. выше сноску 1), связанных с ЗУН базиса входящими связями и характеризующихся рядом ценностных свойств , определяющих их значимость в структуре модели (4);
включение в модель других базисов компетенции сообразно их ценности для формирования компетенции.
На содержательном уровне ИОТ представляется подмножеством (5) компонентов ОП, структурно связанных графами с оптимизированной структурной моделью ИОТ.
Необходимые требования к содержательной модели ИОТ:
соблюдение норм объема учебной работы согласно федеральному государственному образовательному стандарту;
наличие в составе ИОТ обязательных и вариативных элементов;
наличие дополнительных вариативных модулей по запросам учащихся;
возможность реализации методов, технологий интерактивного обучения;
ориентация на результаты обучения, определенные обучающимся.
Дополнительные требования к содержательной модели ИОТ:
наличие междисциплинарных связей (вполне может быть обеспечено необходимыми требованиями к структурной модели ИОТ);
наличие связей с последующими уровнями высшего образования;
наличие связей с дополнительными профессиональными программами повышения квалификации и профессиональной переподготовки;
наличие связей с требованиями конкретных вакансий или проектов компаний, в которых планируется трудоустройство обучающегося по завершении обучения с целью минимизации времени дообучения нового сотрудника в компании для выполнения конкретной работы.
Соблюдение таких разнообразных и во многом противоречивых требований определяет область поиска в виде многомерной поверхности с трудно прогнозируемой структурой. Исследования технологической процедуры построения ИОТ в ручном режиме показали, что решение данной задачи резко усложняется с возрастанием ее размерности – мощности множеств и , а также разнообразия требований, в первую очередь к содержательной части ИОТ. Аналогичная ситуация складывалась при решении задачи оптимизации структурной модели ОП [4], применение которой к решению задачи построения структурной модели ИОТ очевидна в силу идентичности их сигнатур. Указанными исследованиями для решения такой NP-трудной задачи обосновано применение методов дискретной функциональной оптимизации. Формальная постановка задачи оптимизации базируется на известной задаче о нескольких ограниченных бинарных ранцах. В данном случае, согласно модели (4), заданным множеством предметов высту-пает множество , которое представляет собой область поиска, размерность которого .
Каждый i-й компонент обладает рядом ценностных свойств, определенных вектором , элементы ( ) которого определяют ценность для включения в ИОТ. Свойства характеризуются значимостью , т. е. . Таким образом, имеем задачу о ранце с критерием суммарной стоимости, где , и основным ограничением (6), с дополнительным ограничением мощности ИОТ: , , , , а также необходимыми и дополнительными ограничениями, которые должны быть введены сообразно необходимым требованиям к структурной и содержательной моделям ИОТ (см. выше) и могут быть включены в модель с учетом дополнительных требований:
(8)
В силу многоэкстремальности поверхности области поиска в результате решения задачи (8) получим множество субоптимальных решений по микроструктуре ИОТ на модели (4) и содержательной ее части в терминах формализмов (1)–(3). Выбор наиболее приемлемого решения – задача тьютора или другого лица, принимающего решения.
Гибридная модель построения ИОТ
Рассмотренная в статье комплексная технология формирования ИОТ включает в себя множество формальных механизмов, которые относятся к разным разделам математики и функционируют на разных уровнях сбора, анализа, переработки и представления данных. Укрупненная схема алгоритма, обобщенно отражающая процесс построения ИОТ, показана на рис. 1.
Рис. 1. Укрупненная блок-схема формирования ИОТ
На входы подается первичная информация, полученная из цифровых двойников: данные парсинга агрегаторов вакансий, которые получены посредством выгрузки и автоматизированного анализа данных с ресурса hh.ru, jooble.org, trud.com по региону; дерево классов академического контента, цифровые следы обучающихся. На основе данных агрегаторов вакансий формируется структура требований к специалистам, предъявляемых работодателями. Развитой ЦД ОП содержит исчерпывающие данные о структуре образовательного контента. В идеале они соотнесены со структурой рынка труда. Данные ЦДО – это, по сути, совокупность их цифровых следов, которые отражают структуру потребностей и устремлений обучающегося и также могут быть соотнесены с образовательным контентом. Указанные соотнесения осуществляются анализатором семантической близости посредством расчета интегральной оценки по формуле (7). Промежуточным результатом анализа является взвешенный контент образовательной программы, где каждый элемент множеств взвешен оценкой . На основе взвешенного контента с учетом необходимых и дополнительных требований строится ИОТ с оптимальной структурой и составом. При этом, учитывая сложность области поиска и множественность параметров оптимизации, полученная ИОТ является не единственной, но возможной альтернативой, что предполагает вариативность итоговых решений по индивидуализации профессиональной подготовки специалистов.
Для более глубокого исследования технологии формирования ИОТ рассмотрим структуру гибридизации ее математической модели. Формальный аппарат гибридизации описан в [12]
и применялся, в частности, для исследования гибридной модели оптимизации структуры ОП [4]. Структура гибридной модели формирования ИОТ представлена на рис. 2.
Рис. 2. Схема гибридизации модели формирования ИОТ в нотации UML
Ее основу составляют 2 активные модели, и , причем первая дополняет вторую как генератор данных для оптимизации. Модель фактически осуществляет интеграцию исходных данных о рынке труда, образовательного контента и портрета обучающегося посредством гибридизации дополнением: . При этом базу обеих активных моделей составляет структурная модель , которая также интегрирована в ЦД ОП ( ). Она определяет семантику активных моделей и , с которыми связана дедуктивно. Обе модели ЦД
и укрупненно представлены моделями-интерфейсами. Однако они содержат активный компонент, на что указывает включение в них соответствующих содержательных моделей концептуального уровня. Это также относится к модели . Оба двойника обеспечивают проактивное управление реализацией ИОТ в режиме реального времени через посредство модели . Также основная модель наследует схему классического генетического алгоритма . Собственно оптимизационная модель формирования ИОТ есть сложная суперпозиция .
Полная формула гибридизации для модели формирования ИОТ с учетом транзитных дополнений: .
Гибридная модель имеет сложную трехуровневую структуру вложения операторов гибридизации. Эта сложность проявляется во временно́й сложности генетического алгоритма, которая составляет где N – число компонентов ИОТ в исходной области поиска, а также в технологической сложности формализации многочисленных параметров интегрируемых моделей ЦД , , .
Заключение
Отметим, что индивидуализация образования – разносторонний процесс, который направлен на развитие самостоятельности и инициативности обучающегося, наиболее полную реализацию его личностного и познавательного потенциала в процессе обучения, а также на сокращение затрат компаний на дообучение выпускников для выполнения конкретных трудовых функций. Однако, не имея возможности сделать выбор между разными вариантами ИОТ, обучающийся получает меньше шансов на эффективную самореализацию в условиях неопределенности будущего состояния рынка труда. Задача образовательного учреждения – предоставление обучающимся возможностей самоопределения, самообразования и самоидентификации посредством фиксации их цифровых следов. Разработанная гибридная модель на основе цифровых двойников позволит повысить эффективность образовательного процесса и качество подготовки кадров, задействуя при этом современные цифровые технологии обработки информации и компьютерного моделирования. Такой модельно-инструментальный комплекс обеспечивает достижение поставленной цели исследования, создает условия для реализации Стратегии цифровой трансформации науки и высшего образования и способствует повышению цифровой зрелости образовательной организации.
1. GOST R 57700.37-2021. Komp'yuternye modeli i modelirovanie. Cifrovye dvoyniki izdeliy. Obschie polozheniya. URL: https://fea.ru/article/gost-c-d (data obrascheniya: 20.05.2021).
2. Strategiya cifrovoy transformacii otrasli nauki i vysshego obrazovaniya. URL: https://www.minobrnauki.gov.ru/documents/?ELEMENT_ID=36749 (data obrascheniya: 20.05.2021).
3. Shuhman A. E., Belonovskaya I. D., Zaporozhko V. V., Polezhaev P. N., Ushakov Yu. A. Intellektual'nye metody razrabotki elektronnyh uchebnyh kursov dlya adaptivnogo obucheniya // Vestn. Orenburg. gos. un-ta. 2019. № 4 (222). S. 117-133.
4. Poletaykin A. N., Kunc E. Yu., Kuleshova N. V. Optimizacionnaya model' postroeniya indikatorov dostizheniya kompetenciy // Informatizaciya obrazovaniya i nauki. 2020. № 1 (45). S. 64-81.
5. Abasheva O. Yu., Amirova E. F., Belyaeva S.V. i dr. Cifrovaya ekonomika i skvoznye cifrovye tehnologii: sovremennye vyzovy i perspektivy ekonomicheskogo, social'nogo i kul'turnogo razvitiya / pod red. I. A. Bondarenko, A. N. Poletaykina. Samara: OOO NIC «PNK», 2020. 297 s.
6. Resnik P. Semantic similarity in a taxonomy: An information-based measure and its application to problems of ambiguity in natural language // Journal of Artificial Intelligence Research - JAIR. 1999. V. 11. P. 95-130.
7. Kryukova A. V. Opredelenie semanticheskoy blizosti tekstov s ispol'zovaniem instrumenta DKPro Similarity // Komp'yuternaya lingvistika i vychislitel'nye ontologii. 2017. № 1. S. 87-97.
8. Mihalcea R. et al. Corpus-based and Knowledge-based Measures of Text Semantic Similarity // Pro-ceedings of the 21st National Conference on Artificial Intelligence. 2006. V. 1. P. 775-780.
9. Bär D. et al. UKP: Computing Semantic Textual Similarity by Combining Multiple Content Similarity Measures // SemEval-2012 Proceedings of the First Joint Conference on Lexical and Computational Semantics: Vol. 1, 2. 2012. P. 435-440.
10. Šarić F. et al. TakeLab: Systems for Measuring Semantic Text Similarity // SemEval-2012 Proceed-ings of the First Joint Conference on Lexical and Computational Semantics: V. 1: Proceedings of the main con-ference and the shared task, and V. 2: Proceedings of the Sixth International Workshop on Semantic Evaluation. 2012. P. 441-448.
11. Bär D., Zesch T., Gurevych I. Composing Measures for Computing Text Similarity: Technical Report. 2015. URL: http://tuprints.ulb.tudarmstadt. de/4342/1/TUD-CS-2015-0017.pdf (data obrascheniya: 20.05.2021).
12. Poletaykin A. N. Gibridizaciya matematicheskih modeley // Prikladnaya matematika: sovremennye problemy matematiki, informatiki i modelirovaniya: materialy II Vseros. nauch.-prakt. konf. (Krasnodar, 22-25 aprelya 2020 g.). Krasnodar: Izd-vo FGBU «Rossiyskoe energeticheskoe agentstvo» Minenergo Rossii Krasnodarskiy CNTI-filial FGBU «REA» Minenergo Rossii, 2020. S. 103-107.
