MONITORING SYSTEMS FOR TRAFFIC CONTROL OF TECHNOLOGICAL NETWORKS OF DATA TRANSMISSION
Authors:
1.
Astrakhan State Technical University
2.
Astrakhan State Technical University
3.
V.A. Trapeznikov Institute of Control Sciences of Russian Academy of Sciences
(Doctor of Technical Sciences, Assistant Professor; Leading Researcher of the Laboratory of Network Systems Control)
Moscow, Russian Federation
Moscow, Russian Federation
Type:
Article
Pages:
from 101
to 109
Status:
Published
Received:
05.10.2015
Accepted:
25.10.2015
Published:
25.10.2015
Subject area:
VAC 05.12.2013 Системы, сети и устройства телекоммуникаций
VAC 05.13.01 Системный анализ, управление и обработка информации (по отраслям)
VAC 05.13.06 Автоматизация и управление технологическими процессами и производствами (по отраслям)
VAC 05.13.10 Управление в социальных и экономических системах
VAC 05.13.18 Математическое моделирование, численные методы и комплексы программ
VAC 05.13.19 Методы и системы защиты информации, информационная безопасность
UDK 004.735
GRNTI 20.01 Общие вопросы информатики
GRNTI 28.01 Общие вопросы кибернетики
GRNTI 49.01 Общие вопросы связи
GRNTI 50.01 Общие вопросы автоматики и вычислительной техники
GRNTI 82.01 Общие вопросы организации и управления
VAC 05.13.01 Системный анализ, управление и обработка информации (по отраслям)
VAC 05.13.06 Автоматизация и управление технологическими процессами и производствами (по отраслям)
VAC 05.13.10 Управление в социальных и экономических системах
VAC 05.13.18 Математическое моделирование, численные методы и комплексы программ
VAC 05.13.19 Методы и системы защиты информации, информационная безопасность
UDK 004.735
GRNTI 20.01 Общие вопросы информатики
GRNTI 28.01 Общие вопросы кибернетики
GRNTI 49.01 Общие вопросы связи
GRNTI 50.01 Общие вопросы автоматики и вычислительной техники
GRNTI 82.01 Общие вопросы организации и управления
Language:
Russian
Keywords:
monitoring system, telemetry, routers, telecommunications, communication line
Abstract (English):
The questions of the organization of network monitoring and management, the necessary protocols and tools, as well as the benefits of using an integrated management system and network monitoring are considered. The purpose of the research is to design a monitoring system for the data transmission network of Ltd "Gazprom Dobycha Astrakhan" in order to improve the reliability of technological processes of the enterprise. As a system for monitoring and tracking the status of the various network services (data transmission network), servers and network equipment, the system Zabbix, which has a number of advantages compared to others, is chosen. To obtain visual information about the state of technological processes and traffic, the software complex Netflow Analyzer is used. Simulation of the complex monitoring system of the enterprise Ltd "Gazprom Dobycha Astrakhan" is carried out. The proposed monitoring system can be used, for example, for the analysis of the network bandwidth, optimization of its topology and determination of the optimum mode of its operation and maintenance.
The questions of the organization of network monitoring and management, the necessary protocols and tools, as well as the benefits of using an integrated management system and network monitoring are considered. The purpose of the research is to design a monitoring system for the data transmission network of Ltd "Gazprom Dobycha Astrakhan" in order to improve the reliability of technological processes of the enterprise. As a system for monitoring and tracking the status of the various network services (data transmission network), servers and network equipment, the system Zabbix, which has a number of advantages compared to others, is chosen. To obtain visual information about the state of technological processes and traffic, the software complex Netflow Analyzer is used. Simulation of the complex monitoring system of the enterprise Ltd "Gazprom Dobycha Astrakhan" is carried out. The proposed monitoring system can be used, for example, for the analysis of the network bandwidth, optimization of its topology and determination of the optimum mode of its operation and maintenance.
Keywords:
monitoring system, telemetry, routers, telecommunications, communication line
monitoring system, telemetry, routers, telecommunications, communication line
Введение Оперативная передача информации, расширение различных информационных потоков, обеспечение надежной связи с внешними информационными ресурсами, как в России, так и за рубежом, возможны только при наличии развитой региональной телекоммуникационной инфраструктуры. Управление сетью передачи данных требует комплексного подхода и охватывает организацию доступа для управления сетевыми устройствами, мониторинг, замену оборудования и обновление программного обеспечения, резервное копирование, а также документирование сетевой инфраструктуры. Как правило, что система управления работает обычно в автоматизированном режиме - выполняет наиболее простые действия по управлению сетью автоматически, а сложные решения, на основе подготовленной информации, предоставляет принимать человеку. Данные о технологических процессах предприятия поступают в сеть благодаря телеметрии[2]. Для сбора данных используют, как правило, либо датчики телеметрии (с возможностью работы в телеметрических системах, т. е. со специальным встроенным модулем связи), либо устройства связи с объектами, к которым подключаются обычные датчики. При повышении надежности линии связи повысится быстрота реагирования на аварийные ситуации и, как следствие, надежность технологических процессов [1]. Действующая система мониторинга и управления территориально распределенной сети технологической связи предприятия ООО «Газпром добыча Астрахань» не удовлетворяет возросшим требованиям по своим функциональным возможностям. В настоящее время на предприятии нет единого центра мониторинга и управления сетью технологической связи, управление узлом связи осуществляется непосредственно на самом узле. В связи с этим целью нашего исследования было спроектировать единую систему мониторинга технологической сети передачи данных ООО «Газпром добыча Астрахань» для повышения надежности технологических процессов предприятия. Состояние проблемы Требования к системам мониторинга. Любая сложная вычислительная сеть требует дополнительных специальных средств управления помимо тех, которые имеются в стандартных сетевых операционных системах. Это обусловлено большим количеством разнообразного коммуникационного оборудования, от надежности работы которого зависит работа всей сети. Распределенный характер крупной корпоративной сети делает невозможным поддержание ее работы без централизованной системы управления, которая в автоматическом режиме собирает информацию о состоянии каждого концентратора, коммутатора, мультиплексора и маршрутизатора и предоставляет эту информацию оператору сети. Выше отмечалось, что система управления работает обычно в автоматизированном режиме: система выполняет наиболее простые действия по управлению сетью автоматически, а сложные решения, на основе подготовленной системой информации, принимает человек. В связи с тем, что сами системы управления представляют собой сложные программно-аппаратные комплексы, существует граница целесообразности применения системы управления, которая определяется сложностью сети, разнообразием применяемого коммуникационного оборудования и степенью его распределенности по территории. Однако при росте сети может возникнуть необходимость объединения разрозненных программ управления устройствами в единую систему управления, в связи с чем, возможно, придется отказаться от этих программ и заменить их интегрированной системой управления [2]. Для поиска оптимальной системы управления проведем сравнение систем мониторинга (табл. 1) по следующим параметрам. 1. Формирование отчетов SLA (Service Level Agreement). Контроль гарантированных параметров качества обслуживания SLA, определяющих межоператорские взаимоотношения. 2. Формирование трендов. Выявление основных тенденций динамики показателей качества работы телекоммуникационной сети. 3. Прогнозирование трендов. Прогнозирование изменения динамики показателей качества работы телекоммуникационной сети. 4. Анализ топологии сети. Сбор информации об элементах сети. 5. Использование агентной модели мониторинга. Наличие устройств, осуществляющих сбор и передачу информации о работе сети. 6. Поддержка SNMP (Simple Network Management Protocol). Использование протокола SMNP для обмена информацией о состоянии объектов наблюдения в режиме реального времени. 7. Протоколирование событий. Формирование подробных записей о состоянии элементов сети. 8. Датчики внештатных ситуаций. Наличие устройств для оповещения о возникновении критических ситуаций, негативной тенденции к изменению показателей качества работы телекоммуникационной сети. 9. Распределенный мониторинг. Мониторинг сигнального обмена на предмет соответствия работы оборудования определенным спецификациям протоколов [3]. Таблица 1 Сравнительная таблица систем мониторинга Система мониторинга Параметры 1 2 3 4 5 6 7 8 9 Argus + - - - + + + + + Intellipool Network Monitor + - - + - + + - + AdRem NetCrunch - + - + - + + + - IPHost Network Monitor + + - + - + - + - NetMRI - + - + - + + + + NetQoS Performance Center + + + + - + + + + OPNET ACE Live + + + + - + - + + Opsview + + - + + + + + + Performance Co-Pilot - + - - + - - + + Scrutinizer + + - - - + + + + Orion + + + + + + + + + Zenoss + + + + - + + + + Nagios + + - - + + + + + Zabbix + + + - + + + + + Анализ показал, что системы мониторинга, предлагаемые на мировом рынке, сходны по выполняемым функциям. Все они предоставляют почти одинаковый минимальный набор возможностей, однако каждая из них характеризуется определенными недостатками: в большинстве систем вообще не реализованы возможности прогнозирования трендов, а в системах, где они реализованы, построение происходит на основе устаревшей статистической информации. Подобное прогнозирование не учитывает фрактальность трафика, нелинейность характеристик и нестационарность процессов. Обобщив предложенные выше решения, можно синтезировать общую архитектуру системы мониторинга и управления. Все рассмотренные системы мониторинга основаны на использовании агентного подхода. Агенты собирают статистическую информацию о работе элементов сети и передают ее в центральную базу данных, затем собранная информация обрабатывается управляющими модулями. В состав системы мониторинга должны входить следующие компоненты: формирование отчетов, модуль управления SNMP, архив и консоль управления. Модуль формирования отчетов позволяет формировать из имеющихся данных информацию для принятия управленческих решений. Модуль управления SNMP отвечает за сбор информации с агентов мониторинга и взаимодействие с системами управления. Архив позволяет упорядочить хранение статистической информации и организовать последующую работу с ней. Консоль управления реализует функции конфигурирования и управления системой. Для решения поставленной задачи нами был выбор сделан в пользу системы мониторинга Zabbix [4], т. к. она имеет лицензию на свободное программное обеспечение и распространяется бесплатно. Кроме того, Zabbix имеет хорошо развитую документацию на программное обеспечение. На предприятии ООО «Газпром добыча Астрахань» с 2012 г. функционирует Управление связи, специалисты которого осуществляют эксплуатацию линий связи и оборудования корпоративной сети предприятия и системы оповещения об авариях. Для наиболее быстрого реагирования на аварийные ситуации на предприятии ООО «Газпром добыча Астрахань» смоделируем систему комбинированного мониторинга Zabbix с функцией СМС- и e-mail-уведомлений. Для корпоративной сети передачи данных наиболее полезным инструментом будет протокол NetFlow, т. к. в связке с этой утилитой могут использоваться пакеты данных для представления данных в более удобном пользователю виде. По результатам анализа инструментов и средств мониторинга сделан вывод о том, что наибольшая надежность сети и наиболее эффективная передача данных обеспечиваются при использовании комплекса протоколов NetFlow и SNMP [5]. Анализ трафика сети при помощи NetFlow Analyzer Проектирование любой сети начинается с планирования. При проектировании сети следует придерживаться иерархической модели сети, которая, по сравнению с «плоской» сетью, имеет следующие достоинства: - упрощается понимание организации сети; - подразумевается модульность, что означает простоту наращивания мощностей именно там, где необходимо; - легче найти и изолировать проблему; - повышается отказоустойчивость за счет дублирования устройств и (или) соединений; - функций по обеспечению работоспособности сети распределяются по различным устройствам [6]. Сеть технологической связи - неотъемлемая составная часть многоуровневой системы управления ООО «Газпром добыча Астрахань», комплекс сопряженных сетей электросвязи, обеспечивающий надежную, своевременную и качественную передачу всех видов информации в интересах оперативно-технологической, производственно-хозяйственной и коммерческой деятельности компании. Данная сеть включает в себя не только системы передачи, но и относящиеся к ним средства контроля, оперативного переключения, резервирования, управления, и, как следствие, имеет достаточно сложную структуру. Вследствие этого рассмотрение всей технологической сети в рамках нашего исследования является нецелесообразным, и мы остановимся лишь на фрагменте технологической сети. Исследуемый фрагмент включает в себя следующие объекты (узлы), находящиеся на территории г. Астрахани и Астраханской области (рис. 1): - узел связи № 1 - ул. Ленина, дом 30 (len 30); - узел связи № 2 - ул. Ленина, дом 20 (len 20); - узел связи № 3 - ул. Шаумяна, дом 46 (Shaum); - узел связи № 4 - пос. Аксарайский (Aks); - узел связи № 5 - с. Старокучергановка (Kucher). Рис. 1. Cтруктурная схема узлов связи ООО «Газпром добыча Астрахань» На рис. 1 видно, что узлы № 1, 2 и 3 соединены оптоволоконным кабелем, а узлы № 2, 4 и 5 - радиорелейными линиями. Такое соединение обеспечивает большую надежность - в случае выхода из строя участка оптического кабеля или радиорелейной линии на каком-либо участке сети связь будет осуществляться со всеми узлами по обходному резервному маршруту через протокол динамической маршрутизации OSPF (Open Shortest Path First). Предлагаемая система мониторинга ООО «Газпром добыча Астрахань» (рис. 2) состоит из 5 маршрутизаторов, 6 коммутаторов, 1 сервера мониторинга и компьютера администратора, при соединении которых используется смешанная топология. Рис. 2. Система мониторинга корпоративной сети ООО «Газпром добыча Астрахань»: ЛВС - локальная вычислительная сеть На рис. 2 видно, что мониторинг технологического процесса осуществляется только на узле № 4, на остальных узлах осуществляется контроль рабочих мест работников предприятия и трафика передаваемых данных. Под мониторингом технологического процесса понимается мониторинг контроллеров и датчиков, установленных непосредственно на Астраханском газоперерабатывающем заводе. Информация с контроллеров (датчиков) стекается на сервер, мониторинг которого, в свою очередь, осуществляется оператором. При помощи программы-генератора трафика NetStress на вход смоделированной системы мониторинга подается ТСР-поток информационных данных. Для того чтобы тестировать и устранять неисправности сетей, необходимы инструменты, которые позволяют генерировать трафик и анализировать пропускную способность как проводных, так и беспроводных сетей. Это инструменты, которые используются для устранения в сетях показателей уровня сигналов помех от точки доступа в единицах дБм или RSSI (индикация уровня сигнала по отношению) [7]. Данные о критических ошибках и протекании технологического процесса будут отправляться по e-mail или СМС-уведомлениями через систему мониторинга Zabbix. Затем главный оператор дает распоряжения дежурным операторам, которые предпринимают действия по ликвидации аварийной ситуации. Слабый узел в данном случае - узел связи № 1 (ул. Ленина, 30), поэтому резервным будет являться узел № 4 (пос. Аксарайский), и в случае выхода из строя вся информация будет поступать на этот узел. У каждого маршрутизатора, участвующего в процессе OSPF, есть свой уникальный идентификатор - Router ID. Маршрутизатор может выбрать его автоматически - на основе информации о подключенных интерфейсах (выбирается высший адрес из интерфейсов, активных на момент запуска процесса OSPF), можно назначить Router ID самостоятельно - при помощи команды #router-id 172.16.255.1. Обычно создаётся Loopback-интерфейс, которому присваивается адрес с маской /32, и именно он назначается в качестве Router ID, т. к. это бывает удобно при обслуживании. В программе NetFlow Analyzer встроена опция создания рейтинга сайтов, на которых происходит утечка. График скорости передачи данных для IP-адреса 192.168.0.2 в NetFlow Analyzer представлен на рис. 3. Рис. 3. График скорости передачи данных для IP-адреса 192.168.0.2 в NetFlow Analyzer По результатам моделирования при подаче на вход программой-генератором трафика максимальная скорость передачи данных составила 1,24 Мбит/с, средняя скорость - 710,6 Кбит/с, общий объем переданного трафика - 310,77 Мбайт (рис. 3). Анализ трафика в системе мониторинга Zabbix через протокол SNMP Во введенной единой системе мониторинга, в случае аварийной ситуации (повышение температуры маршрутизатора (коммутатора) до критических значений, загруженность процессора и памяти и т. п.) или отклонения параметров технологического процесса от заданных значений, информация поступает к оператору по e-mail или в виде СМС-уведомления Zabbix. Zabbix - свободная система мониторинга и отслеживания статусов разнообразных сервисов компьютерной сети, серверов и сетевого оборудования. Для хранения данных используется СУБД MySQL. Веб-интерфейс написан на языке PHP (Personal Home Page Tools). Zabbix поддерживает несколько видов мониторинга: - Simple checks - может проверять доступность и реакцию стандартных сервисов, таких как SMTP или HTTP, без установки какого-либо программного обеспечения на наблюдаемом хосте; - Zabbix agent - может быть установлен на UNIX-подобных или Windows-хостах для получения данных о нагрузке процессора, использовании сети, дисковом пространстве и т. д.; - External check - выполнение внешних программ. Zabbix поддерживает мониторинг также через SNMP [5]. Настройка SNMP производится на оборудовании Cisco. Согласно данным на рис. 3 и 4, количество пакетов и средняя скорость, полученные с помощью протоколов NetFlow и SNMP, различны. Рис. 4. График скорости передачи данных для Fast Ethernet 0/0 в системе мониторинга Zabbix По протоколу SNMP, в отличие от NetFlow, можно узнать загрузку процессора маршрутизатора, текущее рабочее состояние, текущую скорость интерфейса. Это связано с тем, что протокол NetFlow снимает данные с IP-адреса, а SNMP - с интерфейса [8]. На основании анализа трафика протоколов SNMP и NetFlow и принципов их работы можно сделать ряд выводов о преимуществах и недостатках данных протоколов (табл. 2). Таблица 2 Сравнительный анализ протоколов NetFlow и SNMP Протокол SNMP NetFlow Описание Протокол SNMP работает на базе протокола UDP (User Datagram Protocol) и предназначен для использования сетевыми управляющими станциями. Он позволяет управляющим станциям собирать информацию о положении в сети Internet. Протокол определяет формат данных, их обработка и интерпретация остаются на усмотрение управляющих станций или менеджера сети. SNMP-сообщения не имеют фиксированного формата и фиксированных полей. При работе протокол SNMP использует управляющую базу данных (MIB - Management Information Base, RFC-1213, RFC-1212). В соответствии с NetFlow-протоколом выполняется анализ пакетов, проходящих через определенный интерфейс сетевoго устройства, на основе чего фoрмируется информация в определенном формате о параметрах различных сетевых потоков, проходящих через этот интерфейс, и эта информация передается по IP-сети специальной программе, называемой NetFlow-коллектором (NetFlow collector). NetFlow-коллектор устанавливается на каком-либо компьютере (сервере) сети и занимается сбором и первичной обработкой информации от одного или группы сетевых устройств, передающих данные в формате NetFlow. Далее уже используются программы, анализирующие собранные данные и предоставляющие пользователю необходимые ему отчеты о работе сети. Преимущества Использование систем управления сетью для автоматического мониторинга сетей - отличный способ выявления изменений в трафике в зависимости от времени суток и событий. Возможность расширения перечня ресурсов для исследования в зависимости от встроенных возможностей сетевой инфраструктуры. Автоматическая запись трафика в файл анализатора протоколов при нарушении заданных условий. Возможность настройки системы обнаружения вторжения на отслеживание симптомов, свидетельствующих о сетевой атаке извне или изнутри. Территориально распределенная структура сенсоров/коллекторов, HP OpenView Performance Insight Report Pack for NetFlow Interfaces, возможность выбора интерфейса. Подробное описание. Разнообразие продуктов - от скриптов, находящихся в базах FreshMeat, SourceForge и т. п., до анализаторов промышленного уровня типа ManageEngine NetFlow Analyser со стоимостью более 700 у. е. за лицензию на 10 интерфейсов. Недостатки Отсутствие средств взаимной аутентификации агентов и менеджеров. Отсутствие развитой системы защиты данных на уровне, необходимом для сетей масштаба предприятия. Абсолютная незащищенность узла, на котором работали средства поддержки этого протокола. Сложность систем управления сетью и сложность их настройки. Необходимость наличия определенного уровня знаний. Трудоемкость настройки программных продуктов. Ресурсоемкость. Таким образом, учитывая достоинства и недостатки протоколов NetFlow и SNMP, можно сделать вывод, что оптимальным решением для управления сетью было бы использование сразу двух протоколов. Заключение Таким образом, надежность технологического процесса зависит от надежности корпоративной сети передачи данных. Для решения этой задачи спроектирована система мониторинга корпоративной сети ООО «Газпром добыча Астрахань». В случае возникновения аварийной ситуации на производстве информация поступает в центральный узел связи (ул. Ленина, 20), где установлена комплексная система мониторинга (Zabbix и NetFlow). В виде СМС-уведомление или по e-mail информация поступает главному оператору, который дает указания по предотвращению аварийной ситуации дежурным операторам. Предложенная система мониторинга обеспечивает учет влияния загруженности сети на надежность технологического процесса. Предложенная система мониторинга может использоваться, например, для анализа пропускной способности сети, оптимизации ее топологии, определения оптимального режима ее работы и обслуживания.
1. Kak podklyuchit' sms uvedomlenie k zabbix // URL: http://www.4erp.ru/zabbix/sms-zabbix.html.
2. Pyatibratov A. P. Vychislitel'nye sistemy, seti i telekommunikacii: ucheb. dlya vuzov / A. P. Pyatibratov, L. P. Gudyno, A. A. Kirichenko; pod red. A. P. Pyatibratova. M.: Finansy i statistika, 2013. 736 s.
3. Simple Network Management Protocol (SNMP) // URL: http://www.ieft.org/rfc1157.txt.
4. Cecil A. A Summary of Network Traffic Monitoring and Analysis Techniques / A. Cecil // URL: http://www.cse.wustl.edu/~jain/cse567-06/ftp/net_monitoring/index.html.
5. Olups R. Zabbix 1.8 Network Monitoring // URL: http://www.amazon.co.uk/Zabbix-Network-Monitoring-Rihards-Olups/dp/184719768X.
6. Gol'dshteyn B. S. Seti svyazi: ucheb. dlya vuzov / B. S. Gol'dshteyn, N. A. Sokolov, G. G. Yanovskiy. SPb.: BHV-Peterburg, 2010. 400 s.
7. Perov A. A. Monitoring setey svyazi s dinamicheskoy topologiey na osnove programmy Nagios / A. A. Perov, A. A. Sorokin, V. N. Dmitriev // Vestn. Astrahan. gos. tehn. un-ta. Ser.: Upravlenie, vychislitel'naya tehnika i informatika. 2010. № 1. C. 99-102.
8. Kostenko E. Yu. Issledovanie sistem monitoringa korporativnyh setey peredachi dannyh / E. Yu. Kostenko, E. A. Barabanova // Nauka, obrazovanie, innovacii: puti razvitiya: materialy Shestoy Vseros. nauch.-prakt. konf. (Petropavlovsk-Kamchatskiy, 21-24 aprelya 2015 g.). Petropavlovsk-Kamchatskiy: KamchatGTU, 2015. S. 80- 84.
