Как часто вы обновляете ОС на серверах?

А какое правильное? Как в генту?

нет, как в контейнерах, ставишь новый софт, ставь систему по новой

unattended-upgrades же, ну

Ага, обновляем php - во время рестарта php-fpm у пользователей сыпятся 500, обновляем redis - сентинелы при рестарте шизанулись и не могут выбрать мастера, обновляем libssl - curl перестал уметь SSLv3, а некоторые API мы получаем именно по нему(от нас не зависит), ну и так далее.

Это годится только для сервисов без требований постоянной доступности и без сложных схем репликации данных.

Ага, обновляем php - во время рестарта php-fpm у пользователей сыпятся 500, обновляем redis - сентинелы при рестарте шизанулись и не могут выбрать мастера, обновляем libssl - curl перестал уметь SSLv3, а некоторые API мы получаем именно по нему(от нас не зависит), ну и так далее.

Это в каком дистрибутиве такой успех?

Рестарт php-fpm выдаст 500 на любом достаточно нагруженном сайте, независимо от дистрибутива. Ну то есть можно временно выводить сервер из балансера, но это уже опасная автоматизация. Опять же, балансер тоже обновлять надо.

Redis из официального репозитория, потому что в дистрибутиве древний как экскременты мамонта.

Независимо от дистрибутива, обновление - во-первых, лотерея с новыми багами, даже если портируются только фиксы, и во-вторых не все службы можно перезагружать без ручных действий, чтобы предотвратить временный отказ в обслуживании. Стабильные дистрибутивы сильно уменьшают количество таких проблем, но полностью их не решают. Плюс обычно софт там очень древний, и что-то приходится ставить более новое по требованию девелоперов.

Можно, конечно, так строить инфраструктуру, чтобы у всего было автоматическое восстановление даже без кратковременных простоев/ошибок, но это очень серьёзное усложнение, далеко не всегда оправданное.

Рестарт php-fpm выдаст 500 на любом достаточно нагруженном сайте, независимо от дистрибутива.

Оверквотинг меня подвёл, да. :(

обновление - во-первых, лотерея с новыми багами

Можно пример?

Плюс обычно софт там очень древний, и что-то приходится ставить более новое по требованию девелоперов.

Ну вот я например вынужден для centos 7 собирать nginx с openssl>=1.0.2 ради ALPN и соответственно рабочего http/2. Остальное либо полностью устраивает, либо пакуется в контейнер с шахматами и поэтессами. А так я видел в проде fedora rawhide потому что у девелопера такое на раб.станции стоит. Может что-то в консерватории не то? А то насуёте сначала в систему говн, а потом вам обновления что-то ломают.

Ага, обновляем php

Так не обновляйте этот ваш php и что там ещё автоматически, если с этим есть проблемы.

А от проблемного обновления вас ручной апдейт как должен спасти?

А от проблемного обновления вас ручной апдейт как должен спасти?

Он происходит в рабочее время при моём участии. Я вывожу веб из балансера, или переключаю мастер базу, или делаю принудительный фейловер для редиса чтобы убрать оттуда мастер, или перевешиваю IP на другой балансер, или что там у нас этот сервер делает. Вывожу из мониторинга, чтобы не получить кучу смс и звонков об остановившихся сервисах. И спокойно обновляю/перегружаю.

Можно пример?

https://www.ubuntu.com/search?q=usn regression - куча примеров

Ну вот я например вынужден для centos 7 собирать nginx с openssl>=1.0.2 ради ALPN и соответственно рабочего http/2. Остальное либо полностью устраивает, либо пакуется в контейнер с шахматами и поэтессами.

Достаточно много софта, который в стабильном дистрибутиве отсутствует или древний. А в официальный репозиториях софта ветки только с секурити фиксами обычно нет. Навскидку: ansible redis elasticsearch openjdk(если нужен восьмой) percona.

А как контейнер тут поможет? Что в него не пакуй, всё равно придётся собирать новый контейнер с обновлениями.

Обновляю по необходимости.

Что такое сервер?

Обновляю по необходимости.
Даже странно, что в опросе нет такого пункта...
Иные серверы не обновляются годами, на некоторых - обновления >накатываются выборочно отдельными пакетами...
Но всегда - после «тренировки на кошках».

Плюсую.

Надо скоро завести фтп сервак

https://www.ubuntu.com/search?q=usn regression - куча примеров
ubuntu

Ок

А как контейнер тут поможет?

Ну так система отдельно, контейнеры отдельно. Клонируй, и делай там что хочешь. Ну а потом балансировка, репликация, шардинг. Даже если рабочий инстанс всегда один, то при переключении на обновлённый можно и два сделать ненадолго.

всё равно придётся собирать новый контейнер с обновлениями.

Да, собираешь, запускаешь, старый глушишь. Или как? Хотя, конечно, зависит от того как сделано.

самый простой ответ - когда появляются обновления, и его как ни странно нет

Ну так система отдельно, контейнеры отдельно. Клонируй, и делай там что хочешь. Ну а потом балансировка, репликация, шардинг. Даже если рабочий инстанс всегда один, то при переключении на обновлённый можно и два сделать ненадолго.
Да, собираешь, запускаешь, старый глушишь. Или как? Хотя, конечно, зависит от того как сделано.

С приложениями более-менее понятно, бесшовное обновление и без контейнеров делается тулзами типа deployer или кучкой скриптов. Но
это для приложений, которые работают по принципу «запусти кучу равноправных инстансов и раздавай им задания/запросы».

А как быть с базой данных, с redis-ом, с elasticsearch, вообще с любой службой, которая работает с данными и имеет достаточно сложную схему репликации/шардирования? Причём обновлённая версия может, например, отказаться входить обратно в кластер. То есть можно и тут накрутить автоматизацию, но это будет уже не «ушёл из балансера - обновился - вернулся», а хитрая схема, дорого обходящаяся в плане усложнения инфраструктуры.

Я не уверен, что репликация/шардирование обязательно будут ломаться. Хотя и обратном тоже не уверен. Поэтому это больше был вопрос, чем предложение.

А как быть с базой данных, с redis-ом, с elasticsearch, вообще с любой службой, которая работает с данными и имеет достаточно сложную схему репликации/шардирования?

Соглашусь, сильно зависит от реализации. И часто в проектах, которые постепенно вырастают, когда старая схема себя уже исчерпала полностью, а любое перестроение обходится сильно дороже, чем гонка за мегагерцами.

Причём обновлённая версия может, например, отказаться входить обратно в кластер.

Собирается второй кластер.

То есть можно и тут накрутить автоматизацию, но это будет уже не «ушёл из балансера - обновился - вернулся», а хитрая схема, дорого обходящаяся в плане усложнения инфраструктуры.

Насколько серьёзно нужно всё сломать обновлением, чтобы не разобрать эту ситуацию руками?

Собирается второй кластер.
Насколько серьёзно нужно всё сломать обновлением, чтобы не разобрать эту ситуацию руками?

А данные в этом втором кластере откуда возьмутся? Надо заводить репликацию между первым и вторым кластером, что не всегда тривиально, ждать когда оно синхронизируется и так далее. Кроме того, хостов может не хватать на два полноценных кластера N+1, и на время обновления мы теряем отказоустойчивость.

Схема, которая переживает падение одного сервера, собирается несложно. Но автоматическое обновление может сломать все сервера по очереди, поэтому тут уже требуется схема, которая будет аккуратно вынимать сервер из всех схем репликации/шардирования/..., и также аккуратно вставлять его обратно и проверять. В идеале надо к этому стремится, но пока идеал не достигнут, я не хочу просыпаться ночью по поводу «всё автообновилось и ничего не работает». Мне пока хватает особенно сильных DDOS и глючных API, с которыми мы взаимодействуем :)

А откуда он про них узнаёт?

А данные в этом втором кластере откуда возьмутся?

При неработающей репликации неоткуда. Но, это и не штатный режим, и на автомате не пройдёт.

Только при катастрофах уровня Heartbleed.

Мой вариант - сервер в VDS у провайдера, и обновлением занимается провайдер.

Когда скажет Change management, тогда и обновляем.

Это круто, конечно, но тогда чем я буду заниматься на работе в свободное время?

Нет сервера.

Домашний локалхост за сервер не считаю, дебиан-7, обновы ищу раз в неделю..

OK, that's it, turn off your computer and do something constructive.

Там много непонятных буков. Что это?

По мере необходимости.

по мере надобности

когда zaebix скажет chef-у, тогда и обновление.

Вообще не обновляю

Хоть там и убунту 12.04, лезть туда совсем не хочется, ибо убунту не может обновляться без глюков и проще будет, наверное, заново всё накатить на свежий LTS.

Ваш вариант (укажите в комментарии)

Важные апдейты ставятся автоматически.