Как мы упростили мониторинг серверов и баз данных

Как было

Для целей ИТ-мониторинга у заказчика был установлен стандартный «Центр управления производительностью» (ЦУП) из «Корпоративного инструментального пакета» 1С. Но решение не было идеальным: заказчик говорил о недостаточной гибкости в сборе и обработке данных, трудностях с настройкой и расширением мониторинга для новых информационных систем и серверов, а также об ограниченных возможностях визуализации текущего состояния системы. (Уточним, что речь идет о старой версии ЦУПа — с тех пор вендор значительно доработал «коробочное» решение).

Что хотелось заказчику:

1. Расширить количество отслеживаемых показателей, связанных с работой информационных систем, системы управления базами данных (СУБД) и оборудования.
2. Иметь более простую и понятную систему установки, настройки и подключения для мониторинга новых информационных систем/серверов.
3. Видеть более наглядное отображение текущего состояния отслеживаемых систем/серверов.
4. Получать оперативные оповещения о возникших проблемах и необходимости принятия превентивных мер.
5. Сделать систему быстродействующей и менее ресурсоемкой, чтобы она не оказывала дополнительной нагрузки на уже перегруженные серверы.

Решение

Реализовать все эти требования в рамках простых доработок было невозможно, поэтому мы взялись за кардинальное переписывание типового решения и, по сути, сделали на его основе полноценную централизованную систему мониторинга высоконагруженных конфигураций, состоящую из трех компонент:

1. Сборщик данных.
2. Консолидатор.
3. Центр управления.

Сборщик данных — можно сказать, агент — устанавливается непосредственно на серверах приложений и СУБД, при этом отдельная подсистема встраивается в контролируемую информационную систему. В процессе своей работы сборщик передает информацию о загруженности серверного оборудования и скорости отклика на веб-сервисы консолидатора. Такие агенты потребляют минимум ресурсов и могут ожидать в режиме «полусна», пока к ним не обратятся с запросом.

Консолидатор, он же обработчик, предназначен для консолидации и аналитической обработки информации. Он разворачивается в дата-центре и реализует функциональность подсистемы обработки полученных данных от сборщиков, включая длительные запросы, ожидания на блокировках, взаимоблокировки, события и ошибки платформы, загруженность оборудования, состояние информационных баз и серверов, показатели производительности приложений (APDEX) и др.

Центр управления предназначен для управления настройками сборщиков данных, формирования и визуализации отчетности на специально отрисованных дашбордах, а также аналитической обработки предварительно заданных параметров и событий.

Вместе эти три компонента составляют СМиКП — Систему мониторинга и контроля производительности. Эта система существенно улучшила возможности для мониторинга и повысила скорость реагирования на инциденты. После внедрения СМиКП заказчик сразу почувствовал значительные улучшения в работе своих информационных систем.

Вот основные результаты, которых удалось достичь:

• Масштабируемость: система легко масштабируется под новые серверы и приложения, что избавляет нас от необходимости проводить сложные ручные настройки при добавлении новых компонентов.
• Производительность: поскольку сборщики данных работают с минимальной нагрузкой, ресурсы серверов не перегружаются.
• Прозрачность: наглядные дашборды позволяют руководителям ИТ-службы в реальном времени отслеживать состояние всех серверов и приложений, быстро реагируя на сбои.

Для нас, как разработчиков, эта система также оказалась незаменимым инструментом для диагностики и тестирования. Если одна из учетных систем заказчика начинала давать сбой, мы сразу обращались к СМиКП, чтобы проверить показатели за интересующий нас промежуток времени и выявить проблемы на определенных серверах и по нужной нам системе. Это значительно ускорило процесс устранения неисправностей. Кроме того, через СМиКП можно проводить дополнительное нагрузочное тестирование и сразу выявлять ошибки и блокировки при изменении функциональности.

Проект продемонстрировал, насколько важна грамотная настройка системы мониторинга для эффективного управления сложными ИТ-ресурсами. Мы не просто улучшили стандартное решение — мы создали инструмент, который стал неотъемлемой частью цифровой экосистемы холдинга. Этот опыт показал, что даже в случае использования популярных «коробочных» решений можно добиться существенных улучшений, если правильно подойти к кастомизации и учесть реальные потребности бизнеса.