Какой системой мониторинга пользуетесь?

Мне казалось почему-то, что графана - это не более, чем движок для отрисовки графики. Какой ещё там алертинг может быть??

У меня нет никакой любви к инструменту ZenOSS. Это просто потенциальный рабочий инструмент, ничего личного. Я люблю велосипеды Gary Fisher, язык программирования Perl и язык R, а в ZenOSS мне просто нравится архитектура приложения. Как минимум тот факт, что она вообще есть и формируется не стихийно, как это имеет место быть в Zabbix.

Сейчас я админю систему мониторинга на Zabbix, и мне уже пришлось написать не одну тысячу строк кода, чтобы это хоть как-то было похоже на систему мониторинга, а не тупо надстройку над двумерными SQL-таблицами.

Даже если у тебя ровно два сервера: один с базой и один с приложением. Ты разве не хочешь заранее узнавать, что место на диске начинает заканчиваться, SSL сертификаты скоро истекут, почта не ходит, рейд массив развалился, на сетевом интерфейсе много ошибок, проц загружен 100% на всех ядрах, бекап прошёл с ошибкой? Или ты предпочтёшь сломаться в пятницу вечером, и прочитать об этом логи в понедельник утром?

Честно не понимаю, как без мониторинга жить можно.

По теме топика - пока заббикс, ну кроме анализа логов. Неоптимальный, но простой как топор, новые проверки добавляются просто, уведомления в зависимости от severity используют разные способы оповещения, можно в триггер достаточно сложное условие написать.

место на диске начинает заканчиваться

У меня нет столько данных.

SSL сертификаты скоро истекут

Lets Encrypt сам обновится по крону.

почта не ходит

Использую сторонние сервисы.

рейд массив развалился

Нет. Зато есть бекапы ;)

на сетевом интерфейсе много ошибок

Ну и хрен с ним. Лишь бы работали веб-приложения :)

проц загружен 100% на всех ядрах

Маловероятно.

бекап прошёл с ошибкой

Есть ещё система контроля версий. И старые бекапы. Да и бекап, может мне сам на почту писануть, что что-то пошло не так. Свой костыль греет душу)

Честно не понимаю, как без мониторинга жить можно.

Отдавать ему лишние ресурсы. У меня так - настроил, работает - не трогай. Есть подозрения или что-то не работает - читаешь логи.

У меня нет столько данных.

Переглючившее приложение за час нагенерит тебе полный раздел логов

Lets Encrypt сам обновится по крону.

Или не обновился и молча упал, и так пока сертификат не истёк

рейд массив развалился

Нет. Зато есть бекапы ;)

Пока из него один диск вывалился - заменишь, а когда второй - уже потеряешь данные(зависит от порядка рейда конечно)

Маловероятно

Волшебные безглючные приложения?

Вот тебе реальный юз-кейс: редис с обычной репликацией(не кластер), сентинелы потеряли кворум. Пока мастер не упадёт, или экскаваторщик Вася по прозвищу Кривой Ковш не перекопает отптику до ДЦ - ты об этом даже не узнаешь. А узнаешь, когда оно автоматом на новый мастер не переключится и вы начнёте терять деньги из-за неработающего приложения.

Ещё большой плюс мониторинга - увеличивает скорость устранения проблемы. Не просто «у нас почему-то 500 сыпятся», а видно, какие сервера и компоненты живые, а какие не очень. Ну это если настроить нормально.

а на работе или дома? Дома только заббикс, на работе, помимо первого, еще свой лисапед (проприетарно-закрытый) и еще чего по мелочи

Да. Но основе полученных данных в Grafana, ты можешь построить свои уникальные графики, например отличные от графиков того же мониторинга, и получать алерты по ним.

раньше zenoss и tivoli сейчас пишу модули под проприетарщину

В четвертой графане появился алертинг. Очень удобно когда разраб накидал себе график и сделал сам себе алерт, в слак, например. Стандартный алерт на почту очень прикольный, как-то так выглядит письмо: https://cloud2.difrex.ru/index.php/s/TR70MRWCowVVw8U

Графана уже не просто движок для графиков.

collectd/statsd+graphite+grafana+moira

А где пункты «Не пользуюсь» и «Что такое система мониторинга?»

zabbix

А как же graphite и его окружение (collectd, grafana, moira, etc)?

В четвёртой графане добавили алертинг.

так мегакомбайн и нужен для мегапроектов, а не чтобы дома сервер под кроватью мониторить. в телекоме использовали Заббикс. при всех своих недостатках он был, наверное, единственным приемлемым решением, когда есть тысячи разных железяк, серверов и всяких софтин, которые надо мониторить и по авралу пинать дежурных.

где все облачные системы типа datadog? oчень популярная тема в наше время

Вот же:

Другая проприетарная СМ

Graphite, и морда к нему grafana.

++
Надо бы добавить :)

Будет :)

так мегакомбайн и нужен для мегапроектов, а не чтобы дома сервер под кроватью мониторить. в телекоме использовали Заббикс. при всех своих недостатках он был, наверное, единственным приемлемым решением, когда есть тысячи разных железяк, серверов и всяких софтин, которые надо мониторить и по авралу пинать дежурных.

Чем бы нагиос не подошел? у меня на нем 3к серверов, 45к сервисов. Все летает.

Grafana - не морда к graphite, это движок общего назначения для проектирования графических дашбордов.

Я бы добавил, но поздно уже давно... В следующий заход через год добавлю :)

Мне не очень понятно, кто и при каких обстоятельствах эти графики смотрит. Понятно, что смотрят изредка процента 3 всех графиков, причём каждый раз разные, но в целом... У нас на работе, например, у Операционного Департамента выведены для дежурных графики в бешенном количестве на огромной «стене мониторинга». Большинство графиков повторяют друг друга, как по форме, так и по содержанию, но по существу это не более, чем «обои рабочего стола» - без машинной аналитики даже внимательно следящий за «своими» графиками дежурный никогда не увидит целостной картины и будет по сути следить за тем, чтобы «провал не слишком сильно проваливался». К любой системе мониторинга нужна встроенная или внешняя система агрегирующей аналитики, иначе роль такой аналитики придётся выполнять людям, а учитывая в общем-то скромные возможности человеческого интеллекта по анализу большого количества данных - результат будет либо неудовлетворительным, либо неразумно дорогим. На моей работе операционщики пришли к промежуточному результату и вроде бы двигаются про пути разработки как раз агрегирующей аналитики.

Но... посмотрите на те же IT-сервисы, теги триггеров и корреляцию триггеров в Zabbix, которые по сути и есть зачатки этой агрегирующей аналитики: многие ли задумываются над тем, что без подобных вещей любая система мониторинга рано или поздно превращается в некий придаток к тем людям, которые в компании реально что-то понимают и способны это анализировать? Уйдут эти люди - и заменить их будет невозможно, поскольку по сути вместе с ними «утечёт» и огромный кусок логики якобы автоматизированной системы мониторинга.

NetXMS

Выбрал, чтобы испортить статистику.

системы мониторинга в 2017 году

нет отдельного пункта под Datadog

ЛОР такой ЛОР.

collectd -> Prometheus -> Grafana; самописные скрипты алертинга из говна и палок пытают Прометея и срут в Телеграм.

Кактус!

Да, я знаю. Но конкретно мы пользуемся им просто как мордой :)

Когда выбирал систему мониторинга для распределённой на три города сетки на три десятка серверов, три сотни рабочих станций, пробовал Cacti, Nagios, MRTG, Webmin и Zabbix.
До этого работы с системами мониторинга опыта не было.
Остановился на Zabbix.
1. Развернулась система «на раз».
2. Специальный агент требуется не всегда.
2. Есть вполне вменяемая система обнаружения устройств в сети.
3. Есть вполне вменяемая система «сработки на триггер»
4. При необходимости проверки несложно дополнять и дописывать самостоятельно. (У Nagios эта процедура сложновата).
Мне понадобилось отслеживать списки зарегистрированных баз 1С на серверах 1С. На всё-про-всё на создание динамичного отображения списка потребовалось меньше часа.
Такая же процедура пригодилась для периодического «грепанья» лога самописной програмки и отправки сообщения разработчику с извещением о появлении ошибок.

VestaCP/Netdata

dude от микротика

В списке не хватает единственной нормальной системы - collectd

Zabbix

действительно, очень известный в кругах олдскула и костыленаписания ))))

InfluxDB, Prometheus.

Забих походу продавать собираются, кеке

усеришься к нему конфиги писать для такого количества счётчиков.

усеришься к нему конфиги писать для такого количества счётчиков.

«если вы делаете работу, которую могут делать роботы, то вы уволены в ближайшие 5 лет»

а я не занимаюсь такой работой. поддержкой занимаются технические специалисты, причём не сказать чтобы слишком высокого уровня. и для них нужно простую и надёжную систему, которая будет им выдавать внятное предупреждение о том, что где-то в огромной системе из разных железяк и софта что-то сломалось. и заббикс для этого подходит идеально. они не понимают глубинных причин поломки, но должны уметь определить, какой модуль вышел из строя, чтобы его перегрузить, например.

чтобы саботировать некорректный опрос без пункта «никакой» проголосовал за все варианты

На работе okmeter.io, лучше ничего не видел

Их цены отталкивают.
Для 100+ серверов слишком дорого получается.

Дорого, но те минуты простоя, которые удаётся сократить/избежать стоят значительно дороже

Пока в основном на работе заббикс + для некоторых простых устройств mrtg , а так смотрю в сторону librenms . Вот моё мнение об

http://0x1.tv/20150626F

ну я как-то считал, получилось если ставить окметр на все наши сервера, то по деньгам это тоже, что нанять пару толковых админов.
И пара толковых админов смогут замутить на каком-нибудь прометее мониторинг не хуже окметр :)

Много чего перепробовал: Zabbix, Nagios, Cacti, Munin, Monit, HP OpenView и многие другие.

Почему Zabbix такой популярный? Его интерфейс ужасен. Совсем неинтуитивный.

Использую Nagios и Cacti. Они кажутся самыми правильными для мониторинга разнородной инфраструктуры.

ушли с кактуса на заббикс. ввиду ущербности кактуса как системы мониторинга (rrdtool - грусть-печаль, да).

они не понимают глубинных причин поломки, но должны уметь определить, какой модуль вышел из строя, чтобы его перегрузить, например.

monit заменит такого «специалиста» на ура... если, ессно, речь не о железе и его ребуте, а о софтовых граблях (железо - вопрос решается чуть дороже, управляемыми розетками).

Datadog, дорого, убогий АРI, куча багов, зато есть дашборды и розовенький интерфейс.

дык... оно же пишеться не ручками, делать нефиг, конфиги писать...