Автоматическая перезагрузка зависшей системы

У тебя в сервере наверняка уже есть watchdog, иногда их аж два — в чипсете и в микросхеме мониторинга, которая температуру на матери измеряет, напряжения, управляет вентиляторами и т.п. У меня это «Intel TCO Timer/Watchdog» (модуль ядра iTCO_wdt) встроенный в чипсет Intel C604 и «Watchdog timer for W83627HF/W83627DHG and compatibles» (модуль w83627hf_wdt) встроенный в микросхему мониторинга nct6779.

Находятся они в menuconfig ядра «Device Drivers > Watchdog Timer Support». Какие они у тебя — изучай своё железо. Чипсет я думаю ты и сам знаешь, а микросхему мониторинга sensors-detect из пакета lm-sensors тебе нащупает. А дальше читай описания модулей ватчдогов в menuconfig, там написано под какое они железо, гугли и т.п. Проверь настройки БИОС, там может быть соответствующий пункт, а может и не быть, от вендора зависит.

Потом прописывай понравившийся модуль в загрузку, читай https://www.kernel.org/doc/html/latest/watchdog/index.html , настраивай демон watchdog, который буде мониторить /dev/watchdog.

написать программу, которая раз в некоторое время будет посылать пинг на ардуину, и в случае его отсутствия замыкать контакты sw reset

Почему нет, аппаратный ватчдог так и работает.

А все эти вочдоги будут работать если фриз происходит из-за kernel panic? Я не уверен что это оно, т.к. монитор не подключен, но и такое исключать нельзя.

Почему нет, аппаратный ватчдог так и работает.

Колхоз на ардуине то зачем, когда ватчдог уже испокон веков в любых серверах изначально присутствует? И не только в серверах, но и в десктопах тоже. И достаточно просто научиться им пользоваться.

Прочитай про условия его срабатывания в документации, я не зря ссылку на неё принёс. kernel panic бывает разный. В systemd кстати есть и софтварный ватчдог, можешь его тоже поизучать. Но он конечно же ничем не поможет в случае «жёсткого» зависания, для этих случаев как раз аппаратные используются.

иди на аляэкспресс в поиске вводишь
«ватчдог собака перезагрузка типа флешка»
вставляешь в комп и радуешься..

И каким же волшебным образом он ресетнёт систему через USB в случае «жёсткого» её зависона?

Вышесказанное будет не решением, а обходом, поэтому рекомендуется помимо этого еще в отдельной теме спросить, как починить зависания, указав конфигурацию сервера inxi -Fz, лог после падения, реагирует ли на REISUB и после чего перестало работать как надо.

Он подключается проводом к разъему перезагрузки на мат. плате, и если компьютер перестает по USB отправлять команду сброса таймера, то замыкаются контакты перезагрузки.

Ясно, обычный «внешний» ватчдог для тех кому проще заплатить чем настроить тот что у них и так уже в железе есть. IMHO сейчас чипсетов без встроенного ватчдога просто не делают. Хотя я читал пару раз что по причине кривизны рук китайских инженеров и БИОСописателей встроенный ватчдог может быть остановлен и не включаться из ОС, так как нужный регистр на запись заблокирован. Лично с таким ни разу не встречался пока.

зависит от степени «мёртвости» зависания. Если реагирует только на Alt+SysRq+b, то, боюсь, перезагрузить можно только робо-манипулятором, нажимающим эти волшебные кнопочки…

попробуй так:

    /proc/sys/kernel/panic

    This file gives read/write access to the kernel variable panic_timeout. If this is zero, the kernel will loop on a panic; if nonzero it indicates that the kernel should autoreboot after this number of seconds. When you use the software watchdog device driver, the recommended setting is 60.

Имеется сервер (на основе обычного пк)
он намертво виснет.
Пока мне в голову пришло только подключить ардуину и написать программу
и ... замыкать контакты sw reset.

А мыслей, что с железом что-то не так, ещё не приходило?

мне в голову пришло только подключить ардуину

Почему именно ардуину? Как вы приходите к такой мысли. Это ж образовательный проект.

У тебя в сервере наверняка уже есть watchdog

Ещё софтовый, в ядре

panic=10 добавить в boot cmdline - будет перезагруз через 10 сек при панике.

Вариант причины зависания: нехватка памяти. Решения: https://github.com/hakavlad/nohang#solution

А все эти вочдоги будут работать если фриз происходит из-за kernel panic?

по идее да, потому что они работают в обратную сторону. Софтина периодически сбрасывает счетчик вачдога в начальное значение. Если она это не сделает или зависнет хоть вся система, ватчдог досчитает до нуля и перезагрузит комп.

В целом вы правы, изначально так и планировалось. Но дополню «собака» «давно» это не обязательно «про ребут». Слишком много нюансов. «Собака» может выполнить reset для определенной карты в pci-e например, но не всей системы.

По kernel panic можно автоматически перегружаться и без вотчдога. Kernel hacking > Debug Oops, Lockups and Hangs > panic timeout (CONFIG_PANIC_TIMEOUT)

софтварный ватчдог

Он таки аппаратный использует. Программный это для управления конкретными сервисами

Starting with version 183 systemd provides full support for hardware watchdogs (as exposed in /dev/watchdog to userspace), as well as supervisor (software) watchdog support for invidual system services.

Starting with version 183 systemd
2012

неспешно к успеху шли...

В ФИДО один сисоп приделал reset к дверному звонку. Если уезжал, а станция зависала, он звонил соседям и просил позвонить ему в дверь.

Перевираете на корню.
1. Не звонил.
2. Звонили (в звонок) поинты которым таки это было нужно.
ЗЫ Даже если первично это прошло и байкой, то потом некоторые такое реально делали.
ЗЫЫ Вспомнил. Вариант проще был, для случая когда автоматы на лестничной площадке, народ просто им выкл/вкл делал.

Раз уж тема превратилась в вечер старых анекдтов, то вспомню аппаратный ватчдог в виде системника напротив, так чтобы площадка CD-привода выезжала по удалённой команде и нажимала кнопку «reset».

Upd. Или по «пингу» серевера, я уже не помню подробностей.

Раз уж тема превратилась в вечер старых анекдтов, то вспомню аппаратный ватчдог в виде системника напротив, так чтобы площадка CD-привода выезжала по удалённой команде и нажимала кнопку «reset».

Это было хохмочкой, не более того. Но стоит отметить, на момент публикации эта хохмочка реально была весьма продуманной! :)

Upd. Или по «пингу» серевера, я уже не помню подробностей.

ЗЫ Изначально это было про фидо, но позже ньюфаги «трансформировали» в работу инета :)

так чтобы площадка CD-привода выезжала

площадка CD-привода

Вот, что значит технология ушла, оказывается я забыл, что эта штука называется «лоток».

ЗЫ Изначально это было про фидо, но позже ньюфаги «трансформировали» в работу инета :)

они просто не знают фидо

Изначальный вариант звучал очень приблизительно так: «Я завел reset на кнопку звонка, но если будете часто звонить, то сработает программа которая выдвинет лоток сидюка к которому закреплен шнур питания и дальше ждите пока я не вернусь из отпуска». :)
Позже это переродилось во всякие другие варианты хохм использования возможностей софтверного пинания лотка привода :)

Возможно ли перезапустить автоматически систему в случае если она намертво зависла?

Штатными средствами никак. Наколхозить костыль - это можно. На вендовых станциях делал.

Штатными средствами никак.

Тему на читай! Сразу отвечай!

ЛОР по прежнему ЛОР, но без забаньсядебила скучно.

Я так и знал, что ты это напишешь. 😁

Тема похожа на эту, Странное поведение: firefox нельзя убить, sync не завершается, все дружно бросились решать следствие, а не причину, потому что ТС именно так задал вопрос.

Обычно на ЛОРе это называют Проблема XY. )

я был знаком с этим сисопом, поэтому извинись.

я был знаком с этим сисопом

Это ничего не меняет, я вам тоже мог бы подобную байку в уши залить.

Если уезжал, а станция зависала

Если он уехал, то откуда он узнавал что станция зависла?

тогда уже существовали другие средства связи, кроме ФИДО, прикинь?

И договорённость об этом существовала заранее. Если нода не отвечает в ЗМХ, значит, висит.

Что тебе ещё неясно, мой молодой неизвестный собеседник?

Имя сисопа? Адрес станции? Его телефон?

тогда уже существовали другие средства связи, кроме ФИДО, прикинь?

Какие например?

И договорённость об этом существовала заранее. Если нода не отвечает в ЗМХ, значит, висит.

Вот это уже понятный ответ.

Имя сисопа? Адрес станции? Его телефон?

Достаточно ответа на второй вопрос.

тогда жду извинений за обвинение во лжи.

Хотя, не жду. Гуляй.

тогда жду извинений за обвинение во лжи.

Пока вы не ответите на мои вопросы, ложью я считаю то что написали вы.

Имя сисопа?

И кстати слово «сисоп» к фиде имело крайне опосредованное отношение.