Вкатится в devops

Нет не могу написать. Я до сих пор дашборды к прометеусу обдумываю.

+1 ;)

А я пробовал спрашивать, как грузится линух. Смешно было. Для людей оно где-то на уровне магии. типа нажал кнопочку питания и до получения шелла (ну или логина в графический десктоп манагер) оно каким-то волшебным образом происходит

Тяжелая у вас работа.

Это называется snmp

Лет 15 назад я фанател от cacti :) Клевая игрушечка была. И куда меньше мороки было, чем с заббиксом.

Просто хочется найти человека, на которого можно было бы скинуть часть моих задач и не бегать за ним каждые несколько минут сопельки подтирать.

Клиенты - это компании, которые у нас покупают услуги сопровождения DevOps.

Но и возможностей у нее было здорово меньше. Тут опять же от задач…

Это да. Но железки типа тех же умных свичей на ней мониторить можно было вполне успешно. Да и линуксы тоже - snmpd ставишь и всё.

Скорее, вопрос был именно найти для всяких особенных железок готовые модули описания. Чтобы самому не заморачиваться прописывать это всё.

Ну я вот щас точно не вспомню, но вроде бы у кактуса небыло auto-discovery, например?

Лет 15 назад я фанател от cacti :) Клевая игрушечка была. И куда меньше мороки было, чем с заббиксом.

Ну я в те времена юзал nagios, причем долго, пока не перелез на прометеус из за его распредености. Причем был у меня штука nagios фигачил в информихдб в внутри кнопка у сервис (блин название) забыл. Короче жмешь на иконку графика у сервиса в нагиос и попадаешь в графану. Прикольно. И там уже все …

snmp_exporter тоже самое.

Просто хочется найти человека, на которого можно было бы скинуть часть моих задач и не бегать за ним каждые несколько минут сопельки подтирать.

Бедность не порок. Что касается применительно того о чём вы сказали, то нужен человек, которого не нужно
заставлять повышать свои знания и ждать пока ему подзатыльник не дадут. Но таковых мало, да и таковые по мере профессионального роста просто быстро уйдут «на более глубокие места».
Такова селяви.

Ну я вот щас точно не вспомню, но вроде бы у кактуса небыло auto-discovery, например?

Тоже уже не помню. Старый стал. Склеротик.

Ну я вот щас точно не вспомню, но вроде бы у кактуса небыло auto-discovery, например?

Это еще зачем? snmpwalk и т.д. нужный миб подсунул и все.

Плюс-минус так. Но сейчас на рынке труда настолько поганая ситуация, что куда он денется с подводной лодки… :)

То есть руками? Если предпочитаете руками - то действительно, не зачем. осталось, правда, понять, как вы в мониторинг добавляете автоматически развернутые из подготовленных шаблонов серверы… А то бывает, знаете, по PXE загрузить 50 штук девайсов при раскатке нового кластера ).

Кстати что мне смутно припоминаеться что как раз кактус выруливал у пользователей виндос, им видети ли обязательно подавай этот дисковери и именно в гуе.

Плюс-минус так. Но сейчас на рынке труда настолько поганая ситуация, что куда он денется с подводной лодки… :)

Гуже всего если соискатель амбициозный.
Тогда его работа будет заключаться в том, чтобы доказать что он лучше вас.
Это - «тяжёлый случай на производстве».

по PXE загрузить 50 штук девайсов при раскатке нового кластера )

Я предпочитаю облака.

Терраформом раскатал, по cloud-init привез базовые настройки + подключение к паппету. А дальше уже паппет привезёт всё, что нужно.

доказать что он лучше вас

Пускай доказывает. :) Что мне, привыкать что ли. :) Не первый день небо копчу.

Ну у каждого своя боль. Особенно, когда облака надо вот именно свои, в своём ДЦ.

Пускай доказывает. :) Что мне, привыкать что ли. :) Не первый день небо копчу.

Не комфортно с таковыми работать и весьма утомляет.

Ну если есть возможность раскатать vSphere, которым к тому же ещё и сам управлять будешь - о чём ещё мечтать-то? :) Не жизнь - малина!

А то бывает, знаете, по PXE загрузить 50 штук девайсов при раскатке нового кластера ).

Кстати я вот давеча про bootc писал. Там когда исо делаешь из контейнера то он добавляет туда не просто загрузку а настройку софта через кикстарт.

На самом деле там в случае исо не контейнер запускаемый на вм(железе) а автоустановка с этого контерйнера внутри вм ос с настроками их кикстарта.

И это все шаблонами можно нафигачить … хз понятно ли написал.

Не комфортно с таковыми работать и весьма утомляет.

Зато можно издеваться. :) Типа дать сложную задачу и смотреть, как будет мучаться. Кстати, обычно после 2-3 раз весь пыл амбициозности пропадает. Тут наоборот аккуратнее надо и вдумчиво, чтобы амбиции до конца не сломать.

настройка софта на сервере и настройка сервера мониторинга, чтобы он наблюдал этот сервер - несколько разные вещи. Да даже если вы весь софт накатаете как надо в шаблоне - это не значит, что сервер отобразится в системе мониторинга. Это Прометеус всякое по умолчанию без авторизации принимает.

Тут наоборот аккуратнее надо и вдумчиво, чтобы амбиции до конца не сломать.

За это не беспокойтесь.
Горбатого …

настройка софта на сервере и настройка сервера мониторинга,

в смысле шаблон на сервере или вы про настройки какого нибудь ескпортера в ос гостя?

Когда давно я не юзал ансибле я писал кикстарты где автоматически ставился кентОС, накартывался 389дс, самба и все тама в конфиге описывалось. Короче автоматом ставился сервер-самба-нт

и виндовс юзеор могл сразу войти в это домен (ну там же в кикстарте настравался в 389дс админ домена и т.д.)

Нет. У вас есть система мониторинга. И вам нужно, чтобы хосты обнаруживались и добавлялись в неё сами. В случае, с каким-нибудь Zabbix - он вот так вот просто данные от кого ни попадя не примет. Прометеус он не подходит для долговременного хранения данных: не для этого он делался, например. У него проблемы с производительностью на больших объемах данных, у него есть свои минусы. Да прометеусу тоже нужно настраивать динамическое обнаружение. То есть, чтобы ваш экспортер в прометеус заслал данные - нужно настроить прометеус. Это и есть Auto-discovery.

А понятно, я уж подумал про snmp.

Ну так я в курсе (про краткосрочность прометеуса), мне прометеус нужен не для красивых графиков а для алертов. Опять же цели в прометеус может брать с файла. Ну вали в этот файл цели после добавления ВМ и делов то.

Кстати поди наверное эту фигню можно лепить через маску ДНС, ну при разворачиваение ВМ лепить ей тем же кистартом определенное ДНС и оно сразу будет попадать в цели. Правда это только мое предполодженеи я хз будет ли хавать прометеус node*.home.lan … хз.

Но я чем бы разворачивал ВМ тем же и добавлял эти таргеты.

Нуда у меня руками ;)

Тут весь вопрос в том возникает, когда у тебя несколько сот серверов. И какие из них тебе в очередной момент понадобятся - вопрос. Мы, бывало, в рамках инцидента поднимали логи и мониторинг за последние два года. Просто бывает, когда выкатывается новый проект, у тебя команды за все ответственные разные, а ты как SRE можешь и не иметь доступа непосредственно на хост. Вот тут и начинают эти штуки выручать: админ добавил в шаблон установку агентов/экспортеров и их первоначальную конфигурацию через условный ansible, а ты у себя на сервере настроил авто-дискавери для конкретных подсетей. С нюансами, но вот так. Ты получаешь мониторинг и сможешь тут же отчитываться по инцидентам по этим хостам и впиливать в них нужные метрики не отходя от кассы (для этого заббикс, опять же отлично подходит - не надо править экспортеры и т.п. - агент конфигурится непосредственно с сервера мониторинга), добавляешь какие надо метрики сразу и все довольны. А для инфраструктурного мониторинга прометеус обычно и не используют (да и алертменеджер тамошний мне не нравится, но тут кому как). Прометеусу надо нормальную БД скармливать (бывало и Clickhouse подключали и в timescaledb добавляли), оптимальнее всего как раз VictoriaMetrics - быстрее всего она работает.

несколько сот серверов.

последние два года.

Понятно. Ну ту да какие то спец решения должны быть. Я кстати для логов юзаю ЛОКИ хз, может это тоже не масштабно.

А к Забиксу у меня отношение еще со времен НАГИОСа это тормозная ПХП по сравнению с нагиос еле работала, хз как сейчас.

Локи это как раз таки хорошо. Ну вот всё зависит от. Некоторые вещи не я проектировал, а специальный товарисч, назначенный быть архитектором. В данном случае заббикс у нас у всех крупных клиентов, как инфраструктурный мониторинг, потому что, в большинстве случаев кластеризованный. Там как бы и ресурсов у этих серверов вполне себе: БД на несколько терабайт - только в путь, соответственно и железо, способное это всё крутить. А что касается PHP - так на нем только веб-морда и ничего больше. Оно обычно даже на одном сервере с zabbix-server не стоит, а крутится отдельно, иногда в контейнере.

Спасибо все понятно.

А может быть: zabbix-server децантрализованным? Ну типа куча их как тот же прометеус а этот самый веб-морда один ко всем. И клиенты чтобы фигачили сразу в 2 забикс сервера а то один может того …

неверно в корне

Он может быть в отказоустойчивой конфигурации, когда их много.

Да ладно? У вас 500 хостов. Нужно проверять коннект к SSH через simple check. Раз в минуту. Как быстро вы на TimeScaleDB получите отчет о том, что у кучи серверов SSH недоступен в конфигурации по умолчанию?

она колоночное хранилище делает и соотвественно быстро .

Иии? Мой пример совсем не об этом. База далеко не всегда является узким местом.

прикол в том что нужны не потому что их труд был нужен - а потому что на пухнущих бюджетах которые если не освоишь краник прикрутят - нужны были пухлые штаты

т.е. по факту нарушение контракта не со стороны вот этих вот (недо)джунов - а слишком хитрого менежулья среднего звена которая депонировала в найм вот этих вот жировых прослоек между клавой и экраном

вижу так из провинции - сам в специальности с 96 г

и было удивительно все последнии четверть века видеть как усилинение сословных границ приводит к очень интересным фичам на рынке труда

вот именно что таких кадров держали(а есть место в которых и продолжать и даже продолжают набирать) показатель что проблема не в наймитах а в нанимателях которые часто бывает нарушают делегированные полномочия :)

зачем страдать башизмами если есть ipython :?

слишком хитрого менежулья среднего звена

Вот, можно подумать это менеджеры среднего звена придумали правила, по которым их наказывают, если они тратят слишком мало денег.

А вот в 25-м году «мавры сделали своё дело, мавры могут удалиться». Вот только куда удалиться? Назад в деревню в пшеничном поле ковыряться?

Сдаётся проблема вовсе не в маврах.
Расскажу вот одну историю.

Уволились все админы (8 человек).
Остался я один 1С программист, но ранее много лет админил.
И два месяца поддерживал работу сети во всём предприятии.
Разные ситуации были, но все вопросы решал и предприятие работало.
Ко мне никаких нареканий не было.
Возвратились беглецы, которые ушли от того, что их мало ценили.
Понабирали опять в штат опять 8 человек.
…

Надеюсь понятно, что хотел сказать.

Как теперь?

Эти «незаменимые» монополизировали на себя работу с сетью.

Далее сарказм.

Теперь они НЕЗАМЕНИМЫЕ и все понимают, что без них предприятие остановится.

Это была маленькая зарисовка из работы IT отдела государственного предприятия.

Много чего интересного могу рассказать о «работе» государственных предприятий, но форум не об этом.
Да и смысла никакого нет воевать с ветряными мельницами.

ВОТ В ЧЁМ ПРОБЛЕМА.

Слушай, ну там, где незаменимые сотрудники - начальник дурак. Стоит ли туда идти работать? Я тебе подсказку дам: будет надо - разгонят всех и найдут новых. Просто это дешевле не будет ;)

Я тебе подсказку дам: будет надо - разгонят всех и найдут новых. Просто это дешевле не будет ;)

Много амбициозных, которые любят властвовать над другими и быть «незаминимыми».
На нескольких государственных предприятиях работал.
Везде одно и то же.
Так что «везде хорошо где нас нет».

Понятнее не стало, ладно спасибо. Буду сам инфу читать ….

Упс, а по открытому порту не достаточно?

Упс. А это тут причем. Выполняется скрипт на баше, знаете как называется скрипт для ипитона? ;) обычный питон скрипт. Буква И как бы намекает ;)

Мои 5 коппеек.

Какая там нафиг амбициозность, тупо бояться что их подседят.

Со штатами проще, чем больше людей в департаменте тем больше зп. Есть даже что то типа технический директор ;)

Ну ваще %quickref Али даже ? Сразу в помощь .ipy скрипт чуть шире ;)