Abstract and keywords
Abstract (English):
The article considers using direct distribution neural networks and fuzzy neural networks for assessing the operational state of data transmission system elements. In order to select the type of artificial neural network that most fully meets the task of redefining data for predicting the operational state of communication network elements, factors presented in quantitative form are taken into account. For that purpose, the amount of data transmitted through active equipment was selected as the most significant factor having a high level of uncertainty in networks with packet data transmission. The predicted values and changes in traffic levels resulting from the operation of a neural network allow to make the predictive analysis of the operability of the communication networks equipment. Automation of the process and analysis of the equipment operability imply commissioning this function to the assessment system for typical elements of data networks with similar operational conditions. This helps to reduce the number of poor-quality decisions on modernization and increase the speed of response to emergency situations.

Keywords:
direct distribution neural network, fuzzy neural network, forecasting, data transmission system, number of layers, bandwidth, data rate, sigmoid function
Text
Publication text (PDF): Read Download

Введение Как описывается в работах [1, 2], одним из важнейших этапов во время принятия решений по ранжированию элементов систем передачи данных (ЭСПД) является прогнозирование их технического состояния на основе анализа критически значимых параметров. Часто изменение подобных параметров можно описать в виде временно́го ряда. Решение задач прогнозирования значений временны́х рядов осуществляется при помощи построения различных моделей. Учитывая сложность структуры систем передачи данных и процессов, которые в них происходят, для идентификации состояния их элементов целесообразно применение теоретических положений, основанных на использовании методов искусственного интеллекта [3, 4]. Подобные методы позволяют выявлять скрытые закономерности, протекающие в объектах моделирования. С учетом анализа работ [5, 6] можно выделить три основных вида подобных методов: на основе нейронных сетей (НС), на основе систем нечеткого вывода (СНВ) и на основе нечетких НС. Ограничением НС является «закрытость» процесса получения итоговой оценки [7]. Ограничением СНВ является сложность адаптации при изменении закономерностей, влияющих на значение итоговой оценки относительно значений входных переменных [7]. В свою очередь, нечеткие НС имеют «прозрачную» структуру, поскольку состоят из фиксированного количества слоев и на первом этапе формируются экспертами, а на последующих этапах использования предусматривают возможность обучения на основе выборок значений. Однако в настоящее время недостаточно изучен вопрос оценки точности прогнозирования значений, формируемых НС и нечеткими НС для решения группы задач, связанных с оценкой трафиковой нагрузки узлов систем передачи данных: этот показатель является одним из важнейших при принятии решений о необходимости модернизации определенного сетевого элемента. Таким образом, целью работы является сравнительный анализ и выбор математического аппарата для решения задачи прогнозирования значений параметров элементов систем передачи данных, поведение которых описывается в виде временно́го ряда. Постановка задачи исследования Наиболее важным параметром при оценке состояния ЭСПД является объем сетевого трафика, передаваемого устройством. Процесс идентификации состояния ЭСПД на основе анализа объемов трафика является этапом обработки информации количественной природы, имеющей некоторую долю неопределенности. На этом основании необходимо решить ряд следующих задач для ранжирования по срокам очередности проведения модернизации (рис. 1): – определить параметры мониторинга ЭСПД, в наибольшей степени отражающие его эксплуатационное состояние по трафику; – определить объемы данных для нейросетевого прогнозирования состояния ЭСПД; – определить метод нейросетевого прогнозирования, позволяющий формализовать опыт экспертов. Рис. 1. Блок-схема оценки состояния элементов систем передачи данных с применением нечетких нейронных сетей Выходные прогнозные значения на основе входных показателей загруженности ЭСПД позволят получить оценку загруженности ЭСПД. Исходя из этого будет определена принадлежность оборудования к конкретной группе с установленной срочностью замены ЭСПД. Подготовка данных С учетом анализа работ [1, 2] и мнения экспертов в области эксплуатации сетей передачи данных в качестве наиболее значимого параметра выбрана скорость передачи данных. Данные мониторинга были получены от программ мониторинга и программных комплексов, входящих в состав OSS/BSS (англ. Operation Support System/Business Support System, система поддержки операций/система поддержки бизнеса) – систем, используемых в области электросвязи [2, 8–15]. Мониторингу подвергалась пропускная способность канала сети передачи данных на эксплуатируемых элементах, которая ограничивается максимальной эффективной пропускной способностью логического канала. Анализируемая пропускная способность включает пользовательский и служебный трафик. Ввиду того, что сеть передачи данных, используя протоколы маршрутизации, может реконфигурироваться, а нагрузка на конкретный ЭСПД может динамично изменяться за краткий отрезок времени, для сбора данных был установлен период, равный четырем суткам. Данные собираются в числовой форме и измеряются в Кбит: d_1 – скорость передачи в первый день мониторинга, Кбит; d_2 – скорость передачи во второй день мониторинга, Кбит; d_3 – скорость передачи в третий день мониторинга, Кбит; d_4 – скорость передачи в четвертый день мониторинга, Кбит; output – прогнозируемое значение скорости передачи, Кбит. На современном этапе развития сетей передачи данных точность, выражаемая в Кбит, достаточна и позволяет избежать представления данных в дробных величинах, за счет чего сокращается время подготовки обучающих и тестовых выборок для последующей загрузки в НС. Из собранных данных были сформированы обучающие и тестовая выборки для тренировки НС. Обучающая выборка включает данные 192 ежесуточных измерений, тестовая – 48. Алгоритм обратного распространения ошибки в нейронной сети прямого распространения Для обучения искусственных нейронных сетей (ИНС) с различным количеством слоев возможно использование метода обратного распространения ошибки, являющегося обобщением правила, используемого в персептроне. Используемая в алгоритме разновидность градиентного спуска позволяет настраивать весовые коэффициенты в направлении минимума. В качестве функции активации алгоритм использует сигмоидную функцию. Как альтернатива сигмоидной функции рассматривались двоичная sign(x) функция и линейная функция с положительным угловым коэффициентом. Однако ограничения в виде большого числа нейронов для вычислений в случае с двоичной функцией и нестабильной сходимости в случае с линейной функцией, по причине отсутствия возможности нормализации, позволили остановить выбор на сигмоидной функции, наиболее часто используемой в гетерогенных ИНС для решения задач прогнозирования [7]: где n – матрица входных векторов. Работа алгоритма обратного распространения ошибки включает следующие этапы: 1. Подготовка собранных данных для обучения (X, Y*), где значение X подается на вход НС, Y* – контрольное значение. 2. Определение выходных данных НС Y = F(X). 3. Расчет ошибки выхода НС. 4. Корректирование весов для минимизации уровня ошибки. 5. Проверка изменения уровня ошибки (выход из цикла при отсутствии изменений). 6. Возвращение к шагу 1 для снижения уровня ошибки до минимального уровня путем прохождения нового цикла. Шаги 1 и 2 – прямое распространение, шаги 3–6 – обратное распространение ошибки по НС. Данные, используемые при работе с ИНС, разделяют на обучающую и тестовую выборки. Тестовая выборка используется для проверки качества обучения сети. В процессе моделирования для одного набора данных были созданы НС прямого распространения с одним и двумя скрытыми слоями. Сеть с одним скрытым слоем состоит из четырех входов, одного выхода и двух слоев (рис. 2). Рис. 2. Нейронная сеть прямого распространения с одним скрытым слоем В скрытом слое содержится 20 нейронов, использующих сигмоидную функцию активации. Нейроны второго слоя настроены на линейную функцию активации, не изменяющую выходной сигнал purelin (n) = (n). Сеть с двумя скрытыми слоями состоит из четырех входов, одного выхода и трех слоев. В скрытых слоях содержатся 10 и 4 нейрона, также использующих сигмоидную функцию активации. Нейрон третьего слоя использует линейную функцию активации (рис. 3). Рис. 3. Нейронная сеть прямого распространения с двумя скрытыми слоями Точность работы, показываемая НС прямого распространения, достаточна для текущей задачи, т. к. при передаче данных допускается размер коэффициента потери пакетов 0,001, установленный на основе рекомендации Международного союза электросвязи Y.1541 в стандарте QoS. Тем не менее в процессе их подготовки к работе требуются значительные временные и вычислительные ресурсы на подбор числа скрытых слоев и количества нейронов в них, для сопоставления результатов моделирования и выявления лучшей комбинации слоев в составе ИНС прямого распространения [16–22]. Нечеткая нейронная сеть Нечеткая НС Сугено – это структура с заранее известным числом слоев, которые не имеют обратных связей. Слои используют весовые коэффициенты и функции активации (рис. 4) [7, 21]. Рис. 4. Схема нечеткой нейронной сети Первый – это параметрический слой, в нем происходит фаззификация входных переменных. При обучении ИНС настраивает параметры этого слоя, вводится нечеткость, т. е. функции принадлежности применяются к значениям входных переменных. Второй, непараметрический, слой служит для агрегирования. Третий, параметрический, слой генерирует функции ИНС μL(d) и перемножает их с весовыми коэффициентами z. Весовые коэффициенты изменяются в процессе обучения сети на основе роста объема входных и выходных данных. В четвертом слое находятся первый нейрон-сумматор f1, рассчитывающий взвешенную сумму сигналов μL(d), и второй нейрон-сумматор f2, рассчитывающий сумму весов z. В пятом, непараметрическом, слое происходит нормализация весовых коэффициентов. Фиксированные Т-нормы и S-конормы или другие непрерывные операции используются для суммирования [7]. Нечеткие НС для определения параметров функций принадлежности используют ретроспективную информацию. Для нахождения значений этих параметров используется обучение. В настоящей работе за основу был взят алгоритм Сугено, позволяющий автоматически определять форму нелинейности функций принадлежности при фаззификации, т. е. введением нечеткости. Это позволяет снизить уровень влияния человеческого фактора за счет отказа от подбора данных исследователем в начале процесса настройки НС. Модель Сугено с числом выходных переменных I и T числом переменных представляется в виде Здесь обобщается на основе функции Гаусса индивидуально для каждой входной переменной и представляет собой функцию фаззификации (1) где – алгебраическое произведение v-го правила: Агрегирование результата с учетом L правил: (2) Формула (2) получит вид где . Весовые коэффициенты zv в формуле (2) интерпретируются по отношению к как значимость компонентов, вычисляемых на основании формулы (1). С использованием классической импликации рассматриваемая модель включает 81 правило. Правила получены в результате комбинирования термов CLUSTER_1, CLUSTER_2, CLUSTER_3, использующих гауссову функцию и отражающих принадлежность анализируемого узла к группам оборудования с «небольшой», «средней» и «высокой» нагрузкой, по каждой из 4-х входных переменных, соответствующих 4-м временным отрезкам, на протяжении которых производились измерения: , где p10, p11, p12, p13, p14, …, p810, p811, p812, p813, p814 – параметры, подбираемые в процессе обучения нечетких НС. В рассматриваемом примере число нечетких продукционных правил устанавливается в процессе обучения нечетких НС. Изменения происходят во втором и третьем слоях, которые отображают нечеткую базу знаний и реализуют алгоритм нечеткого вывода. На рис. 3 приведены примеры графиков зависимостей выходной переменной от входных переменных. а б Рис. 3. График зависимости выходной переменной от входных переменных d2 и d1 (а); d4 и d1 (б) Целесообразно в рамках решаемой задачи определить нечеткие правила, учитывая формирование функций принадлежности на основе гауссовой функции. Данные, используемые при построении модели прогнозирования, представляются как n-мерные массивы , r = 1, 3, …, m, зависимых переменных и независимых переменных, содержащие одномерные наблюдения . Построение модели происходит итеративно, начало нового цикла осуществляется с выбора формата системы нечетких правил. Вычисляются значения истинности правила с условиями вида , где – нечеткие множества, которые соотносятся с термами «CLUSTER_1», «CLUSTER_2», «CLUSTER_3», описывающими принадлежность анализируемого значения b к каждому из кластеров с разной степенью точности, , – функции принадлежности нечетких множеств . Каждый виток цикла включает в себя два шага: 1 шаг. Вычисляется степень принадлежности; n-мерные наблюдения делятся на заданное число кластеров с использованием алгоритма нечеткой кластеризации c-means [7]. Это позволяет относить состояние элемента сети передачи данных к нескольким кластерам, одновременно описывающим разный уровень нагруженности с разной степенью принадлежности. Количество кластеров равно количеству нечетких правил L. 2 шаг. Вычисление коэффициентов линейных уравнений каждого нечеткого правила. Здесь параметры определяются на основе метода наименьших квадратов. Прогнозируемое значение определяется как , где – число, обозначающее уровень истинности правила; – количество нечетких правил. Расчет будет производиться с использованием независимых переменных и , где – номер этапа сравнения правил нечеткой продукции. Здесь метод наименьших квадратов используется на основе линейной модели с коэффициентами. Критериями оценки выступают среднеквадратичная ошибка прогноза ρ, а также средняя абсолютная ошибка : Обучение нечетких НС происходит с использованием разных по количеству нечетких продукционных правил и разными наборами переменных в каждом правиле до формирования минимальной абсолютной процентной ошибки, не превышающей 0,1 %, обусловленной особенностями передачи трафика. В каждой итерации используется одинаковое число нечетких правил, но состав этих правил меняется от итерации к итерации. С каждой новой итерацией система нечетких правил изменяется относительно предыдущей. При каждой новой итерации рассчитываются значения и , значение служит для определения необходимости продолжения процесса. В итоге значения скорости передачи трафика, приходящегося на анализируемый ЭСПД, спрогнозированное нечеткой НС, равное 8 289 900 Кбит, и данные из контрольной выборки 8 283 075 Кбит показали значительную близость, т. к. расхождение между прогнозным и реальным значениями составило 0,08 % (табл.). Сравнение данных для результатов моделирования сетей прямого распространения с 1 и 2-мя скрытыми слоями и нечеткой нейронной сети с фактическими данными измерений № измерения Нейронная сеть (прогноз), Кбит Тестовая выборка (реальные данные), Кбит Расхождение между прогнозным и реальным значениями, % Двухслойная НС 1 8 269 200 8 282 203 0,16 2 8 262 900 8 279 528 0,20 3 8 298 000 8 282 608 0,19 4 8 273 200 8 283 080 0,12 Трехслойная НС 1 8 273 900 8 282 203 0,10 2 8 288 900 8 279 528 0,11 3 8 271 100 8 282 608 0,14 4 8 273 800 8 283 080 0,11 Нечеткая НС 1 8 289 900 8 283 075 0,08 В процессе исследования были получены близкие по значению результаты работы сетей прямого распространения и нечеткой нейронной сети, однако наибольшую эффективность показала нечеткая НС. Заключение Использовать нейронные сети прямого распространения для анализа накопленных данных по состоянию ЭСПД возможно. Тем не менее, увеличение числа слоев может оказать негативное влияние на выбор платформы под реализацию многослойных моделей по причине пропорционально возрастающих требований к производительности аппаратной части. Число слоев и нейронов в слое в ИНС прямого распространения должно определяться высококвалифицированным специалистом по работе с данными. При использовании нечетких нейронных сетей количество слоев известно заранее, поэтому работа с этим видом ИНС упрощается и становится доступна персоналу с более низкой квалификацией. Нечеткие нейронные сети в этом случае за счет введения экспертной составляющей позволят, не используя значительные аппаратные ресурсы, получать схожие по точности прогнозы.
References

1. Vishnevskii V. M. Teoreticheskie osnovy proektirovaniia komp'iuternykh setei [Theoretical foundations of computer network design]. Moscow, Tekhnosfera Publ., 2003. 512 p.

2. Raili D., Kriner M. NGOSS. Postroenie effektivnykh sistem podderzhki i ekspluatatsii setei dlia operatora sviazi [NGOSS. Building effective systems for support and operation of networks for telecom operator]. Moscow, Al'pina Biznes Buks Publ., 2007. 192 p.

3. Zhukov V. G., Bukhtoiarov V. V. O primenenii iskusstvennykh neironnykh setei s radial'nymi bazisnymi funktsiiami v zadachakh obnaruzheniia anomalii v setevom trafike [Using artificial neural networks with radial basis functions in problems of detecting anomalies in network traffic]. Reshetnevskie chteniia, 2013, vol. 2, pp. 285-286.

4. Chan K. T., Sorokin A. A. Nechetkaia sistema upravleniia intensivnost'iu peredachi trafika v setiakh peredachi dannykh [Fuzzy control system of traffic intensity in data transmission networks]. Izvestiia Volgogradskogo gosudarstvennogo tekhnicheskogo universiteta, 2018, no. 5 (215), pp. 94-101.

5. Kviatkovskaia A. E., Kviatkovskaia I. Iu. Agentnyi podkhod dlia razrabotki sistemy podderzhki priniatiia reshenii po otsenke stoimosti biznesa, osnovannoi na rassuzhdeniiakh po pretsedentam [Agent-based approach for developing decision support system for assessing business value based on reasoning precedents]. Nauka i praktika: materialy Vserossiiskoi mezhdistsiplinarnoi nauchnoi konferentsii (Astrakhan', 16-20 oktiabria 2017 g.). Astrakhan', 2017. Pp. 88-89.

6. Kiseleva O. I., Shubat O. M. Prognozirovanie vyruchki predpriiatiia: metodicheskie podkhody i printsipy [Forecasting company's revenue: methodological approaches and principles]. Rossiiskie regiony v fokuse peremen: materialy Mezhdunarodnoi konferentsii. Ekaterinburg, 2017. Pp. 597-604.

7. Khaikin S. Neironnye seti: polnyi kurs [Neural networks: complete course]. Moscow, Izdat. dom Vil'iams, 2008. 1103 p.

8. Morozova L. A., Khaikov K. V. Metody resheniia upravlencheskikh zadach v otrasli telekommunikatsii [Methods for solving management problems in telecommunications industry]. Nauchnye trudy SWORLD. Ivanovo, OOO «Nauchnyi mir», 2015. Vol. 16, no. 2 (39). Pp. 22-27.

9. Oleinikov A. A., Sorokin A. A. Metodika podderzhki priniatiia resheniia v protsesse modernizatsii elementov sistem peredachi dannykh [Decision support methodology in modernizing elements of data transmission systems]. Vestnik Tambovskogo gosudarstvennogo tekhnicheskogo universiteta, 2018, vol. 24, no. 3, pp. 446-454.

10. Paklin N. B., Oreshkov V. I. Biznes-analitika ot dannykh k znaniiam [Business analytics from data to knowledge]. Saint-Petersburg, Tekhnologii analiza dannykh Publ., 2013. 704 p.

11. Protalinskii O. M., Azhmukhamedov I. M. Modelirovanie plokho formalizuemykh protsessov v sotsiotekhnicheskikh sistemakh [Modeling poorly formalizable processes in socio-technical systems]. Prikladnaia informatika, 2013, no. 4 (46), pp. 106-113.

12. Barabanova E., Maltseva N., Kvyatkovskaya I., Beresnev I. Somputer-Aided Design Software for Buffer Management in Routers. First Conference, CIT&DS 2015 (Volgograd, Russia, September 15-17, 2015). Springer International Publishing, 2015. Pp. 160-169.

13. Barabanova E. A., Vytovtov K. A., Maltseva N. S., Kravchenko O. V., Kravchenko V. F. Models and algorithms of optical switching systems with decentralized control. 2019 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (2019 ElConRus) (Saint-Petersburg, January 28-31, 2019). Saint-Petersburg, 2019. Pp. 64-68.

14. Oleynikov A. A., Pishin O. N., Sorokin A. A. Block diagrams of means of gathering information about the state of the subsystem access network of a cellular operator. 2018 International Conference on Actual Problems of Electron Devices Engineering APEDE - 2018 (Saratov, Russia 27-28 Sept. 2018). Pp. 199-205.

15. Sorokin A. A., Oleynikov A. A., Goryunov A. A. Using fuzzy classification to support decisionmaking during the modernization of the network infrastructure elements. 1st Moscow Workshop On Electronic And Networking Technologies, MWENT-2018 (Moscow, 14-16 marta 2018 g.). Moscow, Institute of Electrical and Electronics Engineers Inc., 2018. Pp. 1-5.

16. Borisov V. V., Kruglov V. V., Fedulov A. S. B82 Nechetkie modeli i seti [Fuzzy models and networks]. Moscow, Goriachaia liniia-Telekom Publ., 2012. 284 p.

17. Gol'dshtein B. S., Kucheriavyi A. E. Seti sviazi post_NGN [Post-NGN communication networks]. Saint-Petersburg, BKhV-Peterburg Publ., 2014. 160 p.

18. Dmitriev V. N., Sorokin A. A., Akhmat Iu., Alavadi G. A. Kh. Algoritm vybora mesta raspolozheniia uzlov infokommunikatsionnoi seti, osnovannyi na primenenii obobshchennogo pokazatelia kachestva [Algorithm for choosing location for nodes of theinfocommunication network based on using generalized quality indicator]. Vestnik Astrakhanskogo gosudarstvennogo tekhnicheskogo universiteta. Seriia: Upravlenie, vychislitel'naia tekhnika i informatika, 2015, no. 2, pp. 71-78.

19. Leonenkov A. V. Nechetkoe modelirovanie v srede MATLAB i fuzzy TECH [Fuzzy modeling in MATLAB and fuzzy TECH environment]. Saint-Petersburg, BKhV-Peterburg Publ., 2005. 736 p.

20. Liuger Dzh. Iskusstvennyi intellekt: strategii i metody resheniia slozhnykh problem [Artificial intelligence: strategies and methods for solving complex problems]. Moscow, Vil'iams Publ., 2018. 864 p.

21. Gitman M. B., Stolbov V. Iu., Giliazov R. L. Upravlenie sotsial'no-tekhnicheskimi sistemami s uchetom nechetkikh predpochtenii [Management of social and technical systems subject to fuzzy preferences]. Moscow, Lenand Publ., 2011. 272 p.


Login or Create
* Forgot password?