Мониторинг производительности сети: методы и программные средства

Для средней сети, не говоря уже о  большой, количество подобных записей  может достигать миллионов строк  за сутки. Так если вести запись в файл, то за сутки его размер может достичь 100 Мбайт и более (проверено).  Понятно, что в стандартной технологии «Log» файлов обработать подобные объемы не представляется возможным, невзирая на использование развернутой системы фильтров. Да и зачастую не до конца формализован весь спектр возможных запросов. И здесь на помощь приходят SQL сервера (Oracle, MS SQL Server, Sybase и т.д.), соответственно технологии «клиент-сервер».

Важным  моментом для подобных систем является правильный выбор методики и критериев  агрегирования исходной информации. Т.е. получаемые за один сеанс от маршрутизатора строки помещаются в таблицу исходной информации, предварительно синтаксически  разобранными (разделив строку на ее составляющие фразы и поместив их в отдельные поля). Это необходимо по соображениям скорости и надежности первичных процессов. Далее осуществляется свертка исходной информации по заданным критериям: время первичного интегрирования, входящие и исходящие сети, тип трафика и т.д. – первичная информация. В дальнейшем, развернутому анализу подлежит именно она.

При использовании протокола Telnet, появляется необходимость использования дополнительной базы данных содержащей сценарии взаимодействия с маршрутизатором, т.е. эмулировать диалог работы в режиме терминала. Причем здесь требуется особая «закрытость». Поскольку в сценарии могут содержаться логин администратора и его пароль. Поэтому такую базу данных лучше хранить отдельно от основной. Не исключено использование для этих целей настольных баз данных (MS Access, Paradox, Fox Pro и т.д.), так как объемы хранимой информации небольшие. В таком случае базу данных необходимо разместить на сервере, где располагается основной счетчик, обеспечив доступ на уровне файловой системы только административных служб. Поскольку Telnet полностью открытая сессия желательно как можно «ближе» разместить маршрутизатор и компьютер, где установлено приложение.

На  рисунке 1 представлена блок-схема системы  IP мониторинга с использованием Telnet.

Программа получения первичной информации (в случае Windows NT Server это должен быть сервис), используя базу данных сценария взаимодействия с маршрутизатором, устанавливает с последним сессию, выполняет, если необходимо соответствующие настройки, и получает первичную информацию в виде коллекции строк. 

Далее, происходит синтаксический разбор информации, и в виде записей она помещается в базу данных статистических показателей. Сразу же запускается команда  очистки счетчиков Cisco. Если в какой либо момент  происходит ошибка, то SQL сервер откатывает транзакцию и очистки счетчика маршрутизатора не происходит.

IP адреса более удобно хранить в виде 4-х полей по байту. Такой способ позволяет использовать активно понятие маски и избежать излишних процедур преобразования. После помещения первичной информации в базу, запускается программа первичной агрегации, которая анализирует и обрабатывает агрегаты, которыми могут быть сети, группы сетей отдельные компьютеры. Такие программы создаются средствами SQL сервера, и стартуют либо из программы получения первичной информации, либо средствами СУБД.

На  каждом шаге выполнения опроса необходимо проверять безошибочность выполнения каждой операции. И в случае какого-либо сбоя всегда вернуться на предыдущий шаг, поместив в Log соответствующую запись. Для повышения надежности можно размещать программу первичной обработки на том же компьютере, где установлен сервер баз данных.

Необходимой утилитой является программа управления сценарием Cisco, которая, в сущности, является эмулятором макросов для сессии Telnet и позволяет построить правильный диалог с маршрутизатором.

Частота опроса маршрутизатора зависит от многих факторов, прежде всего от самого маршрутизатора, от величины сети и т.п., при этом может колебаться от единиц до десятков минут.   

В отличие от использования Telnet, при использовании протокола Netflow (кстати, предложенного CISCO) нет необходимости в создании сессии специализированного программного обеспечения и маршрутизатора, поскольку в его основе лежит UDP. Сущность заключается в следующем, маршрутизатор на определенный порт компьютера постоянно высылает данные, при этом не используется верификация (подтверждение) их получения.

На  рисунке 2 представлена блок-схема системы  IP мониторинга с использованием Netflow.

Маршрутизатор посылает на выделенный порт специализированного  компьютера исходные данные. Сервисный  компьютер «слушает» порт, и как  только приходит информация, фиксирует  данные, обрабатывает их, производя  синтаксический разбор, и помещает в базу данных. Запуск программы  свертки первичной информации в  этом случае осуществляется только SQL сервером. Причем здесь также необходимо оптимизировать объемы хранимой информации и времена ее обработки.

К сожалению, в случае возникновения  аварийных ситуаций происходит потеря статистических данных. Однако, используя  систему записи ошибок в log файл можно рассчитывать коэффициент просчетов, который в дальнейшем использовать для коррекции данных.

В отличие от использования Telnet, при использовании Netflow невозможно вести проверку соединения с Cisco. Поэтому возникает необходимость во внешних средствах проверки сетевых соединений (например, с использованием Ping) или в случае активной сети по времени последнего обсчета.

Общим в обоих случаях является аналитическая  система, которая позволяет построить  различные расчетные схемы, ввести различные критерии анализа формирования IP трафика, контролировать входящий и исходящий трафик любой сети вплоть до отдельного хоста и т.д. На практике хорошие результаты показало использование OLAP технологий как основы аналитической системы. Для управления структурой данных аналитической системы необходима соответствующая утилита.

  Приведем основные  отличия использования  протоколов Telnet и Netflow.

1. Отсутствие создания сессии при использовании Netflow устраняет необходимость создания специальных программных структур управляемых сценарием. Фактически, в случае наличия нескольких маршрутизаторов обрабатываемый трафик определяется только теми, для которых определены команды подсчета и поставки информации. С другой стороны этот фактор в свою очередь обязывает создавать специализированного средства мониторинга (например - ping) целостности сети.
2. Netflow возвращает более расширенные сведения, интерфейс, тип пакетов и т.д. Это позволит мониторить различные составляющие IP: компьютерные сети, телефонию, телевидение и т.д. на различных интерфейсах.
3. При использовании Netflow значительно снижается коэффициент технологических ошибок, поскольку при использовании Telnet возникают просчеты за счет разности времен получения статистики и обнуления счетчиков.
4. В случае Netflow существует потребность в спецификации формата данных в зависимости от используемого BIOS маршрутизатора. Т.е. в зависимости от используемой версии Netflow требуется и соответствующий обработчик. В принципе, функцию обработчик можно вынести во внешние структуры (например - dll).
5. В случае Netflow требуется более качественная сеть, нежели в случае использования Telnet. В случае нарушения сетевых соединений система никаким образом на это не среагирует, если не предусмотрены специальные средства.

Использование системы мониторинга IP сетей не заканчивается только наблюдениями за использованием Интернет. На ее основе можно строить развернутые учетно-расчетные системы для клиентов провайдеров сети Интернет. Можно оценивать входящий и исходящий трафик, разделяя его по государственному принципу. В случае Netflow можно строить расчетные системы по различным спектрам перспективных услуг -  IP телефонии, IP телевидения и т.д., что позволит  строить достаточно гибкие финансовые схемы оплаты Интернет услуг. На основе предлагаемой системы возможно построение систем блокирования и предупреждения. Однако сама по себе система мониторинга IP сетей не является самодостаточной для обеспечения полной безопасности. Она является составной частью общей информационной системы безопасности предприятия. И только разумное сочетание методик и средств позволит системному администратору спать спокойно.