Астраханский государственный технический университет
Астрахань, Россия
Решение задачи прогнозирования в системах, характеризующихся проблемой подбора традиционного алгоритма для ее описания, сводится к технологии машинного обучения. В контексте прогнозирования аварий в системах теплоснабжения эта технология является наиболее эффективной. Осуществление прогноза сводится к задаче восстановления функции в общем контенте обучения с учителем. Из имеющихся инструментов машинного обучения следует использовать градиентный бустинг. Он работает по следующему принципу: на первых итерациях используются слабые алгоритмы, затем наращивается ансамбль постепенными улучшениями тех участков данных, где предыдущие модели «не доработали». Но при построении следующей простой модели она строится не просто на перевзвешенных наблюдениях, а так, чтобы лучшим образом приближать общий градиент целевой функции. Градиентный бустинг является одним из эффективных алгоритмов прогнозирования, и точность прогноза зависит от правильных входных данных (обучающая выборка). Исследуемая предметная область, а именно исследование аварийных ситуаций на тепловых сетях, имеет достаточные объемы накопленных данных для применения бустинга в качестве основного инструмента для прогноза.
машинное обучение, бустинг, прогнозирование, мониторинг, функция потерь
Введение Применение машинного обучения приобретает актуальность в решении задач прогнозирования. Это связано с тем, что в ряде некоторых задач, таких как предсказание экономических и социальных процессов или осуществление прогноза погоды, зачастую становится сложно, а иногда и невозможно применить явный алгоритм. Упомянутые ранее процессы представляют собой сложные системы, в которых невозможно учесть все существующие факторы, влияющие на состояние или поведение системы. Разрешить эту проблему можно путем выявления некоей функциональной зависимости, выстраивая функцию, которую необходимо приближать к реальной функции сложной системы. Приближение осуществляется обучением на имеющихся парах входных и выходных параметров. Одним из эффективных методов обучения является бустинг, основной принцип которого заключается в использовании «слабых» алгоритмов прогнозирования в совокупности. В этот принцип заложена идея совместного использования слабых алгоритмов, что может дать более качественный прогноз в сравнении с использованием их по отдельности. Прогнозирование аварийных ситуаций Постановка задачи. В основе данного исследования лежит задача прогнозирования ава-рийных ситуаций в системах теплоснабжения. Как показывают исследования в этой области, чаще всего для этого применяют экспертные системы, которые основываются на опыте экспер-тов. Такие системы имеют преимущество, если применена эффективная методика формирова-ния экспертного мнения и подобрана «правильная» группа экспертов. Под «правильными» экс-пертами понимаются те эксперты, опыт которых приемлем для формирования экспертного мне-ния. Поэтому целесообразно применить машинное обучение в качестве инструмента прогнози-рования аварийных ситуаций в системах теплоснабжения. В качестве инструмента машинного обучения рассматривается градиентный бустинг [1–4]. Проблема аварийных ситуаций в системах теплоснабжения остается актуальной и на дан-ный момент. В первую очередь это связано с естественными процессами изнашивания трубо-проводов или воздействия внешней и внутренней среды. На рис. 1 показаны основные характе-ристики трубопровода, которые следует принять во внимание в рамках задачи прогнозирования. Рис. 1. Параметры трубопроводов, формирующие обучающую выборку Данные параметры можно классифицировать по следующему принципу: – группа характеристик источника теплоснабжения; – группа характеристик трубопровода; – группа характеристик химической очистки; – группа характеристик факторов внешней среды. Среди представленных ранее групп характеристик можно выделить третью группу, т. к. наличие химической очистки в системе теплоснабжения значительно уменьшает риск износа теплотрасс. Осуществление прогноза сводится к задаче восстановления функции в общем контенте обучения с учителем. Следует использовать градиентный бустинг. Он работает по следующему принципу: на первых итерациях используются слабые алгоритмы, затем наращиваем ансамбль постепенными улучшениями тех участков данных, где предыдущие модели «не доработали». Но при построении следующей простой модели она строится не просто на перевзвешенных наблюдениях, а так, чтобы лучшим образом приближать общий градиент целевой функции [5, 6]. Что касается модели прогнозирования предаварийных ситуаций, то ее можно представить следующим образом: М = {МП, ОВ, МА, МФП, ВИ}, где МП – входное множество параметров; МА – множество базовых алгоритмов, используемых в градиентном бустинге; ОВ – обучающая выборка; МФП – множество функций потерь; ВИ – выходная информация. Общая концепция данной задачи прогнозирования, с учетом применения машинного обу-чения, включает в себя следующие процессы (рис. 2): – инициализация и нормирование входных параметров; – осуществление прогноза в заданный временной интервал; – визуализация результата прогнозирования; – поддержка принятия решений. Рис. 2. Концептуальная схема прогнозирования и принятия решений В данной концепции следует уделить должное внимание процессу формирования базы данных, которая включает в себя обучающую и тестовую выбору. Правильное формирование этих множеств определяет результат прогнозирования. Метод градиентного бустинга. Решение проблемы прогнозирования осуществляется различными методами, в том числе и методом машинного обучения. Использование нейронных сетей или дерева решений позволяет на наборе пар входных и выходных параметров моделировать процессы. Поэтому решение проблемы прогнозирования сводится к использованию «хороших» входных и выходных параметров. Чем больше параметров можно использовать на входе, тем лучше будет происходить обучение модели, которое основывается на градиентном бустинге [7–13]. Градиентный бустинг может решать две задачи: задачу классификации и нахождения це-левой функции. В нашем случае это второй вариант. Нам необходимо осуществить восстанов-ление функции зависимости входных и выходных данных, указанных ранее. Имеется набор признаков x и результирующих переменных y, которые берутся из множества входных парамет-ров МП. Эти наборы формируют пару множеств, на котором будет обучаться алгоритм (ОВ), восстанавливая функциональную зависимость где xi – набор признаков; yi – результирующие переменные из МП. Восстановление происходит путем приближения но для определения наиболее приемлемого приближения необходимо ввести функцию потерь L(y, f). Задача сводится к мини-мизации функции потерь: Следует отметить, что прогнозирование происходит на основе имеющихся в распоряже-нии данных, и тогда Что касается подбора функции для решения задачи, следует ограничить поиск се-мейством функций с параметрами. Такой подход значительно упрощает реше-ние и сводится к решаемой минимизации параметров: Чтобы получить наиболее оптимальные параметры их необходимо будет приближать итеративно. Приближение и функция потерь нашей модели с учетом выполнения M раз (числа итераций) выглядит следующим образом: В качестве подходящего рабочего алгоритма для решения данной задачи следует исполь-зовать градиентный спуск. Суть его заключается в том, чтобы к градиенту добавить итерационные оценки . С учетом ранее обозначенных параметров алгоритм градиентного бустинга имеет сле-дующий вид: 1. Инициализировать начальное приближение параметров . 2. Для каждой итерации t = 1, …, M повторять: а) посчитать градиент функции потерь при текущем приближении б) задать текущее итеративное приближение на основе посчитанного градиента в) обновить приближение параметров : 3. Сохранить итоговое приближение Описание параметров градиентного бустинга. Чтобы определить, какие составляющие необходимы для решения задачи прогнозирования, необходимо перейти к оптимизации в функ-циональном пространстве. Тогда приближение следует искать в виде самих функций. Чтобы решить задачу прогнозирования, необходимо ограничивать поиск группой функций . Таким образом, для работы алгоритма необходимо иметь: – набор данных – число итераций M; – выбор функции потерь L(y, f) с выписанным градиентом; – выбор семейства функций базовых алгоритмов с процедурой их обучения; – дополнительные гиперпараметры например глубина дерева у деревьев решений. Набор данных обучающей выборки ОВ представляет собой набор параметров участка тепловых сетей, а также параметр, определяющий возникновение аварии. Что касается выбора семейства функций базовых алгоритмов, для прогнозирования могут быть применены следу-ющие алгоритмы: – линейная регрессия; – логистическая регрессия; – дерево решений. Применение градиентного бустинга для прогнозирования аварийных ситуаций на участках тепловых сетей позволяет на ранних этапах исследования решить задачу классификатора (классификация: авария/не авария) и (при более подробных данных yi) задачу восстановления целевой функции. Заключение Таким образом, в рамках поставленной задачи была определена общая концепция прогно-зирования, которая включает в себя немаловажные для машинного обучения этапы. Разработана модель, учитывающая необходимые составляющие алгоритма прогнозирования популяционного процесса. В качестве подхода к прогнозированию был выбран бустинг, основанный на гради-ентном спуске. В данном случае градиентный бустинг рассматривается в контексте решения задачи регрессии, т. е. осуществления поиска функциональной зависимости между парой мно-жеств входных и выходных данных.
1. Квятковская И. Ю., Фам К. Х. Система показателей оценки качества телекоммуникационных услуг и метод их оценки // Вестн. Астрахан. гос. техн. ун-та. Сер.: Управление, вычислительная техника и информатика. 2013. № 2. С. 98-103.
2. Бялецкая Е. М., Квятковская И. Ю., Шуршев В. Ф. Формирование набора показателей для оценки качества управления жилыми домами // Вестн. Астрахан. гос. техн. ун-та. Сер.: Управление, вычислительная техника и информатика. 2011. № 2. С. 143-149.
3. Шуршев В. Ф., Демич Н. В. Алгоритм комплексного эволюционного метода поиска решений задачи синтеза состава смесей холодильных агентов // Юж.-Рос. вестн. геологии, географии и глобальной энергии. 2006. № 11. С. 65-68.
4. Лупян Е. А., Бурцев М. А., Балашов И. В., Барталев С. А., Ефремов В. Ю., Кашницкий А. В., Мазу-ров А. А., Матвеев А. М., Суднева О. А., Сычугов И. Г., Толпин В. А., Уваров И. А. Центр коллективного пользования системами архивации, обработки и анализа спутниковых данных ИКИ РАН для решения задач изучения и мониторинга окружающей среды // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т. 12. № 5. С. 263-284.
5. Ажогин Е. Ю., Квятковская И. Ю. Корпоративная база знаний как инструмент обеспечения бесперебойной работы информационных систем // Вестн. Астрахан. гос. техн. ун-та. Сер.: Управление, вычислительная техника и информатика. 2010. № 2. С. 7-14.
6. Шуршев В. Ф., Буй Л. В. Модель и алгоритм рационального выбора сканирующих приемников и транси-веров // Вестн. Сарат. гос. техн. ун-та. 2015. Т. 3. № 1 (80). С. 166-175.
7. Шуршев В. Ф., Кочкин Г. А., Кочкина В. Р. Модель системы поддержки принятия решений на основе рассуждений по прецедентам // Вестн. Астрахан. гос. техн. ун-та. Сер.: Управление, вычислительная техника и информатика. 2013. № 2. С. 175-183.
8. Квятковская И. Ю., Чертина Е. В., Белов С. В. Использование системы дополнительного профессионального образования в процессе повышения квалификации ИТ-специалистов: опыт Астраханского государственного технического университета // Информационно-коммуникационные технологии в науке, производстве и образовании ICIT-2017: сб. ст. Междунар. науч.-практ. конф. (Саратов, 21-22 сентября 2017 г.). Воронеж: Науч. книга, 2017. С. 411-419.
9. Шуршев В. Ф., Умеров А. Н. Моделирование процесса принятия решений при идентификации режимов течения смесей холодильных агентов // Вестн. Кузбас. гос. техн. ун-та. 2005. № 5 (50). С. 27-29.
10. Ахваев А. А., Шуршев В. Ф. Распознавание биообъектов в грунте с использованием радиофизических свойств // Передовые научно-технические и социально-гуманитарные проекты в современной науке: сб. ст. II Междунар. науч.-практ. конф. (Москва, 15 июня 2018 г.). М.: Науч.-издат. центр «Актуальность.РФ», 2018. С. 69-71.
11. Шуршев В. Ф., Бялецкая Е. М. Алгоритм экспертной оценки показателей контрольно-измерительной системы жилого объекта // Вестн. Астрахан. гос. техн. ун-та. Сер.: Управление, вычислительная техника и информатика. 2010. № 2. С. 117-121.
12. Исаев А. С., Киселев В. В., Калашников Е. Н., Плешиков В. П. и др. Геоинформационные системы в прогнозировании и контроле массового размножения лесных насекомых // Лесоведение. 1999. № 5. С. 15-23.
13. Коэльо Л. П., Ричард В. Построение систем машинного обучения на языке Python. М.: ДМК Пресс, 2016. 302 с.
