NEURAL NETWORK ALGORITHM FOR CHOOSING METHODS OF TIME SERIES FORECASTING
Authors:
1.
Kuban State Technological University
(Candidate of Technical Sciences, Assistant Professor; Assistant Professor of the Department of Informatics and Computer Science)
2.
Armavir Mechanical and Technological Institute, affiliate of Kuban State Technological University
Type:
Article
Pages:
from 51
to 60
Status:
Published
Received:
05.01.2019
Accepted:
25.01.2019
Published:
25.01.2019
Subject area:
VAC 05.12.2013 Системы, сети и устройства телекоммуникаций
VAC 05.13.01 Системный анализ, управление и обработка информации (по отраслям)
VAC 05.13.06 Автоматизация и управление технологическими процессами и производствами (по отраслям)
VAC 05.13.10 Управление в социальных и экономических системах
VAC 05.13.18 Математическое моделирование, численные методы и комплексы программ
VAC 05.13.19 Методы и системы защиты информации, информационная безопасность
UDK 004.021
GRNTI 20.01 Общие вопросы информатики
GRNTI 28.01 Общие вопросы кибернетики
GRNTI 49.01 Общие вопросы связи
GRNTI 50.01 Общие вопросы автоматики и вычислительной техники
GRNTI 82.01 Общие вопросы организации и управления
VAC 05.13.01 Системный анализ, управление и обработка информации (по отраслям)
VAC 05.13.06 Автоматизация и управление технологическими процессами и производствами (по отраслям)
VAC 05.13.10 Управление в социальных и экономических системах
VAC 05.13.18 Математическое моделирование, численные методы и комплексы программ
VAC 05.13.19 Методы и системы защиты информации, информационная безопасность
UDK 004.021
GRNTI 20.01 Общие вопросы информатики
GRNTI 28.01 Общие вопросы кибернетики
GRNTI 49.01 Общие вопросы связи
GRNTI 50.01 Общие вопросы автоматики и вычислительной техники
GRNTI 82.01 Общие вопросы организации и управления
Language:
Russian
Keywords:
control system, prediction unit, selection of the optimal method, case analysis, artificial neural networks
Abstract (English):
The prediction unit is one of the most important components of intelligent control systems. The results of its operation influence the type of control actions generated by the system. The performance of the unit depends on the prediction methods used. The accuracy of the result of the prediction block depends on the choice of the forecasting method. Thus, uncertainty when choosing a forecasting method is a factor that has a negative impact on the reliability of the result of the prediction block and, as consequence, on the reliability of the control system as a whole. The analysis results of the work in this field suggest that the problem of choosing the best forecasting methods has been worked out mainly at the conceptual level. The disadvantages of the considered works are the lack of specifying the mechanism for implementing the proposed algorithms, as well as the potential result of their work is a wide group of prediction methods that are found optimal. In one of the considered works, the expert system is indicated as a mechanism for solving the problem, and the algorithm for modifying and updating the rules is not specified. We have proposed the algorithm based on the use of a precedent analysis method realized in artificial neural networks, which allows to solve these problems. The statistical indicators of the time series, as well as the forecast horizon are used as characteristics of the object and the forecasting task, which constitute the set of attributes of a precedent. A set of solutions to the problem are the applied prediction methods. The set of results is a general estimate of the solution calculated on the basis of the values of the optimality criteria. At the same time, estimation of the optimality of the forecasting method is performed on the basis of the criteria of accuracy and speed, which are based on the prediction error, as well as the length of time spent on obtaining the forecast. The effectiveness of the proposed algorithm has been proved by the results of the experiment.
The prediction unit is one of the most important components of intelligent control systems. The results of its operation influence the type of control actions generated by the system. The performance of the unit depends on the prediction methods used. The accuracy of the result of the prediction block depends on the choice of the forecasting method. Thus, uncertainty when choosing a forecasting method is a factor that has a negative impact on the reliability of the result of the prediction block and, as consequence, on the reliability of the control system as a whole. The analysis results of the work in this field suggest that the problem of choosing the best forecasting methods has been worked out mainly at the conceptual level. The disadvantages of the considered works are the lack of specifying the mechanism for implementing the proposed algorithms, as well as the potential result of their work is a wide group of prediction methods that are found optimal. In one of the considered works, the expert system is indicated as a mechanism for solving the problem, and the algorithm for modifying and updating the rules is not specified. We have proposed the algorithm based on the use of a precedent analysis method realized in artificial neural networks, which allows to solve these problems. The statistical indicators of the time series, as well as the forecast horizon are used as characteristics of the object and the forecasting task, which constitute the set of attributes of a precedent. A set of solutions to the problem are the applied prediction methods. The set of results is a general estimate of the solution calculated on the basis of the values of the optimality criteria. At the same time, estimation of the optimality of the forecasting method is performed on the basis of the criteria of accuracy and speed, which are based on the prediction error, as well as the length of time spent on obtaining the forecast. The effectiveness of the proposed algorithm has been proved by the results of the experiment.
Keywords:
control system, prediction unit, selection of the optimal method, case analysis, artificial neural networks
control system, prediction unit, selection of the optimal method, case analysis, artificial neural networks
Блок прогнозирования является важным компонентом интеллектуальной системы управления [1]. Результаты его работы влияют на результат анализа проблемной ситуации и, как следствие, на выбор управляющих воздействий для ее устранения, осуществляемый системой управления. Эффективность работы блока прогнозирования зависит от применяемых методов прогнозирования. Каждый метод прогнозирования имеет определенную область применения, в которой он эффективен [2]. От выбора метода зависит точность результата прогнозирования. Следовательно, неопределенность при выборе метода прогнозирования является фактором, оказывающим негативное влияние на достоверность результата работы блока прогнозирования и на надежность системы управления в целом. Данный факт позволяет говорить о высокой актуальности проблемы выбора оптимальных методов прогнозирования в зависимости от области применения. Состояние проблемы Исследованию данной проблемы посвящены работы [2-5], результаты анализа которых приводятся в табл. 1. Таблица 1 Результаты анализа работ, посвященных проблеме выбора оптимальных методов прогнозирования в зависимости от характеристик области применения Работа Область применения Критерии выбора методов прогнозирования Результат Механизм реализации предложенной методики [3] Прогнозирование результатов инвестиционного проектирования Вид прогноза (краткосрочный, долгосрочный), характер исходных данных Широкая группа методов Не указан [4] Прогнозирование технического состояния сложных автоматических систем управления Характеристики изделия вычислительной техники Широкая группа методов В виде дерева выбора методов прогнозирования [2] Не указана Уровни сложности и обширности задачи прогнозирования Широкая группа методов Экспертная система, возможно применение нечеткой логики [5] Не указана Уровни сложности и обширности задачи прогнозирования Широкая группа методов Не указан По результатам проведенного анализа, представленным в табл. 1, сделаны следующие выводы: 1. В работах [2, 5] отсутствует конкретизация области применения, предлагаемые в них методики в большей степени универсальны. 2. Основными критериями определения оптимального метода являются характеристики задачи и объекта прогнозирования. При этом конкретный перечень характеристик, а также критериев оптимальности методов прогнозирования в работах не указывается. 3. Механизм реализации предложенной методики в работах [3, 5] не указан, а в работах [2, 4] он подробно не рассматривается. 4. Механизм реализации методики, предложенной в [2], предполагает реализацию экспертной системы, основанной на нечетких правилах, но при этом не указывается алгоритм модификации и обновления правил. 5. Результатом предлагаемых методик является широкая группа методов, например методы интеллектуального анализа данных [2], что приводит к возникновению следующих проблем: - в состав группы может входить большое количество методов, которые, в свою очередь, могут иметь множество разновидностей (например, искусственные нейронные сети могут иметь различную архитектуру и метод обучения), качественные характеристики которых могут существенно отличаться [6]; - применение комбинированного подхода, который заключается в определении конечного результата прогнозирования на основании результатов группы методов [1], потребует существенных временных затрат. Сделанные выводы позволяют говорить о недостаточной степени проработанности проблемы и об актуальности исследований в данной области. Постановка задачи и предлагаемый метод ее решения Пусть S - временной ряд, - множество применяемых методов прогнозирования, - множество характеристик задачи и объекта прогнозирования (временной ряд S), - множество критериев для оценки оптимальности методов . Необходимо сформировать множество , где Mopt,S - множество методов mj, оптимальных для прогнозирования временного ряда S; и - множества значений критериев оптимальности K для методов mj и mk M; - функция для формирования общей оценки по критериям K. С учетом применения методов M в блоках прогнозирования систем управления наиболее важными критериями оптимальности являются: - критерий точности прогноза, который может быть выражен значением ошибки - ; - критерий быстродействия метода прогнозирования, который может быть выражен объемом времени, затраченного на выполнение процедуры прогнозирования - Ktm. Таким образом, множество критериев имеет следующий вид: . Следовательно, задача заключается в формировании множества методов, позволяющих спрогнозировать временной ряд S с наименьшей ошибкой и наименьшими временными затратами. В качестве элементов множества A могут быть использованы основные показатели математической статистики (дисперсия, математическое ожидание и т. д.) [7], характеризующие объект прогнозирования - временной ряд, а также горизонт прогнозирования как характеристика задачи прогнозирования. Характерными особенностями рассматриваемой проблемы являются: - сложность формирования базы знаний на основе знаний экспертов, обусловленная тем, что основным источником знаний в данном случае является опыт применения различных методов прогнозирования в тех или иных предметных областях; - решения, сформированные для конкретной ситуации, не являются уникальными и могут быть использованы в других случаях. Указанные особенности позволяют говорить о потенциальной эффективности применения анализа прецедентов для решения данной проблемы [8]. Наиболее эффективным методом реализации анализа прецедентов, позволяющим получить результат с высокой точностью, является применение искусственных нейронных сетей [9]. Согласно [9] в общем виде прецедент представляет собой кортеж где - множество признаков, выполняющих описание задачи, которые могут быть представлены как в количественном, так и в качественном виде; - решение задачи; - результат применения решения задачи (может быть как положительным, так и отрицательным), который может представлять собой множество как количественных, так и качественных характеристик. Для решения задачи определения оптимальных методов прогнозирования может быть применен следующий вид множеств 1. где A - множество характеристик задачи и объекта прогнозирования, содержащее статистические характеристики временного ряда (дисперсия, математическое ожидание, коэффициент вариации и т. д.) [10], а также горизонт прогнозирования. 2. где mi - метод прогнозирования. 3. где - средняя абсолютная ошибка прогнозирования временного ряда S с помощью решения di; - время, затраченное на выполнение процедуры прогнозирования с помощью метода . Для множеств может быть установлено соответствие - «применение решения di для прогнозирования временного ряда S позволит получить результат », где di = mi, , , mi - метод прогнозирования, . Следовательно, может быть сформирована искусственная нейронная сеть (ИНС) с входами (j = 1, 2, … , N), выходами (i = 1, 2, … , W) (рис. 1). Рис. 1. Схема ИНС для анализа прецедентов прогнозирования временного ряда S С целью сокращения количества выходов ИНС результат может быть представлен величиной : (1) выражающей общую оценку оптимальности решения di, где - множество значений характеристик - множество значений характеристик , , где P - множество всех прецедентов, хранящихся в базе знаний, - функция принадлежности нечеткому множеству . Для определения методов, оптимальных для прогнозирования временного ряда S, на входы ИНС (рис. 1) поступают значения признаков (j = 1, 2, … , N), при этом каждому выходу (i = 1, 2, … , W) соответствует решение . Следовательно, множество оптимальных методов для прогнозирования временного ряда S может быть сформировано согласно функции , (2) где . Таким образом, для прогнозирования временного ряда S будут выбраны наиболее оптимальные методы прогнозирования. Временной ряд спрогнозированных значений S может быть получен по формуле , (3) где ; N - количество элементов множества ; ={} - временной ряд значений S, спрогнозированных с помощью метода mi. Возможны случаи, когда временной ряд S является нестационарным [7]. Для таких временных рядов формирование множеств содержащих показатели математической статистики, не имеет смысла, т. к. дисперсия нестационарных величин непостоянна [7]. В таких случаях может быть выполнено разложение временного ряда , где ST - трендовая составляющая; SS - сезонная составляющая; SR - стационарный временной ряд, к которому в дальнейшем может быть применен представленный алгоритм определения оптимальных методов прогнозирования. Экспериментальная оценка разработанных алгоритмов Для экспериментальной оценки разработанных алгоритмов применялись временные ряды показателей работы тепловой электростанции с комбинированным циклом, а также оказывающих на них влияние внешних факторов [10]: , где PE - показатели выработки электроэнергии на тепловой электростанции; V - вакуум на выхлопе паровой турбины тепловой электростанции; AP - давление внешней среды; RH - относительная влажность внешней среды; AT - температура внешней среды. В качестве элементов множества использовались следующие показатели: GAM-PHAT, GAM-PCI - оценки параметров гамма-распределения, NOR-SIGMACI1 - оценки параметров нормального распределения, RAY - оценка параметров распределения Релея, VAR - дисперсия. Значения элементов множества характеризующих объект прогнозирования, вычисленные для приведенных к единой размерности [11] временных рядов множества S, представлены в табл. 2. Таблица 2 Значения элементов множества AS, характеризующих объект прогнозирования Показатель GAM-PHAT GAM-PCI NOR-SIGMACI1 RAY VAR V 44,84904 0,01115 0,07303 0,35736 0,00549 AP 6,14609 0,08107 0,18979 0,37771 0,03705 RH 50,42626 0,00991 0,06899 0,35698 0,00489 AT 16,7995 0,02978 0,11566 0,36338 0,01376 PE 79,7885 0,00627 0,05484 0,35572 0,00309 При проведении эксперимента величина горизонта прогнозирования во всех случаях была постоянной, поэтому данный показатель в составе множества не указан. Множество имело следующий вид: , где FFNl - нейронная сеть прямого распространения; SVM - метод опорных векторов; CFNl - каскадная нейронная сеть; - рекуррентная нейронная сеть; l ∈ {traincgf, trainbfg, traincgp, traingda, traingdm, traingdx, trainlm, trainoss, trainscg} - множество алгоритмов обучения, где traincgf - метод сопряженных градиентов Флетчера - Пауэлла; trainbfg - метод квази-Ньютона; traincgp - метод сопряженных градиентов Полака - Рибьера; traingda - метод градиентного спуска с адаптивным обучением; traingdm - градиентный спуск с учетом моментов; traingdx - метод градиентного спуска с учетом моментов и адаптивным обучением; trainlm - метод Левенберга - Марквардта; trainoss - одноступенчатый метод секущих; trainscg - метод шкалированных сопряженных градиентов [12]. Для формирования множества применялось нечеткое множество . Диаграмма зависимости значений от (соответствует ) представлена на рис. 2. Рис. 2. Диаграмма зависимости значений от На рис. 3 для каждого решения di представлены «эталонные» значения вычисленные на основании значений критериев а также значения полученные по результатам анализа прецедентов, выполненного с помощью ИНС. Рис. 3. Результаты применения решений для прогнозирования временных рядов множества S Показатели точности определения с помощью разработанных алгоритмов значений для временных рядов множества S представлены в табл. 3. Таблица 3 Показатели точности определения значений путем применения анализа прецедентов, выполненного с помощью ИНС Временной ряд Средняя абсолютная ошибка, % V 1,05 AP 0,46 RH 1,91 AT 1,02 PE 0,27 Далее эффективность разработанных алгоритмов проиллюстрирована на примере временного ряда AP. Выбор конкретных решений в качестве оптимальных выполняется согласно формуле (2) и зависит от величин ϑ и Если необходимо выбрать несколько лучших решений, то ϑ = 0,4, тогда множество оптимальных методов имеет вид Mopt,AP,some = . Если необходимо выбрать один лучший метод, то ϑ = 0,49, тогда . Значения критериев , общей оценки оптимальности («эталонной», а также полученной путем анализа прецедентов с помощью ИНС) для методов множества , представлены в табл. 4. Таблица 4 Значения критериев , общей оценки оптимальности (эталонной, а также полученной путем анализа прецедентов с помощью ИНС) для методов множества Решение (метод прогнозирования) «Эталонное» значение Значение полученное путем анализа прецедентов с помощью ИНС CFNtrainim 0,4878 0,4860 0,0939 2,7747 FFNtrainim 0,4968 0,4964 0,0912 2,1589 Основные характеристики результатов, полученных при выполнении прогноза по формуле (3) с помощью методов множеств , , , представлены в табл. 5. Таблица 5 Основные характеристики результатов, полученных при выполнении прогноза по формуле (3) с помощью методов множеств ,, Множество решений, применяемых для получения прогноза Mopt,AP,some 0,2962 0,0914 4,9335 Mopt,AP,one 0,4964 0,0912 2,1589 0,0283 0,1350 236,5854 Результаты прогнозирования временного ряда AP, выполненного путем применения методов, которые принадлежат сформированным множествам ,, , представлены на рис. 4. Рис. 4. Результаты прогнозирования временного ряда AP, выполненного путем применения методов, которые принадлежат сформированным множествам ,, Значения критериев оптимальности, полученных с помощью методов множеств и , существенно превосходят аналогичные показатели для множества (см. табл. 5). При этом результат, полученный с помощью методов множества , по критерию быстродействия более чем в два раза уступает аналогичному значению для множества , что также отражается на соответствующих значениях результата . Таким образом, применение метода множества для прогнозирования временного ряда AP позволит получить наиболее оптимальный результат. При этом вероятность выбора метода из множества , который позволяет получить прогноз, соответствующий результату, полученному с помощью метода множества , составляет 0,0197, вероятность выбора метода с лучшими характеристиками - 0,0751, с худшими - 0,9052. Заключение Основными преимуществами разработанного алгоритма являются способность к самообучению, реализованная на основе анализа прецедентов, а также высокая точность результата. Применение данного алгоритма в блоках прогнозирования систем управления позволит повысить их быстродействие за счет возможности определения ограниченной группы наиболее оптимальных методов, а также надежность за счет применения методов, позволяющих получить с высокой долей вероятности наиболее точный прогноз.
1. Dubenko Yu. V., Dyshkant E. E. Razrabotka arhitektury bloka prognozirovaniya sistemy upravleniya slozhnym tehnicheskim kompleksom // Vestn. Bryan. gos. tehn. un-ta. 2018. № 5. S. 74-83.
2. Simankov V. S., Buchackaya V. V. Vybor metodov prognozirovaniya pri issledovanii slozhnyh sistem // Vestn. Adyg. gos. un-ta. Ser. 4: Estestvenno-matematicheskie i tehnicheskie nauki. 2012. № 2. S. 118-123.
3. Shorikov A. F., Bucenko E. V. Problema vybora metoda prognozirovaniya rezul'tatov investicionnogo proektirovaniya // Izv. Ural. gos. ekonom. un-ta. 2006. № 5 (17). S. 183-191.
4. Petrichenko G. S., Krickaya L. M., Naryzhnaya N. Yu. Vybor metoda prognozirovaniya slozhnyh sistem ASU v zavisimosti ot modeli // Scientific Journal of KubSAU. 2005. № 14. S. 1-5.
5. Sidel'nikov Yu. V., Saltykov S. A. Procedura otbora naibolee priemlemyh raznovidnostey ekspertnyh metodov // Upravlenie bol'shimi sistemami. 2010. № 30. S. 35-66.
6. Dubenko Yu. V., Dyshkant E. E. Razrabotka matematicheskoy modeli mnogofaktornogo nechetkogo prognozirovaniya poter' elektroenergii: monogr. Krasnodar: Izd-vo KubGTU, 2016. 120 s.
7. Gmurman V. E. Teoriya veroyatnostey i matematicheskaya statistika: ucheb. posobie. M.: Vyssh. obrazovanie, 2008. 479 s.
8. Karpov L. E., Yudin V. N. Metody dobychi dannyh pri postroenii lokal'noy metriki v sistemah vyvoda po precedentam. M.: In-t sistem. programmirovaniya RAN, 2006. 33 s.
9. Varshavskiy P. R., Eremeev A. P. Modelirovanie rassuzhdeniy na osnove precedentov v intellektual'nyh sistemah podderzhki prinyatiya resheniy // Iskusstvennyy intellekt i prinyatie resheniy. 2009. № 2. S. 45-57.
10. Combined Cycle Power Plant. UCI Machine Learning Repository: Data Set. URL: http://archive. ics.uci.edu/ml/datasets/Combined+Cycle+Power+Plant (data obrascheniya: 04.10.2018).
11. Ezhov A. A., Shumskiy S. A. Neyrokomp'yuting i ego primeneniya v ekonomike i biznese. M.: MIFI, 1998. 222 s.
12. Rutkovskaya D., Pilin'skiy M., Rutkovskiy L. Neyronnye seti, geneticheskie algoritmy i nechetkie sistemy. M.: Goryachaya liniya Telekom, 2006. 452 s.
