LINUX.ORG.RU

Отказоустойчивость python celery

 ,


0

2

Есть несколько серверов, на них запущены по несколько celery workers след командной:

celery --workdir=/data worker -Q client -c 5 -n client -n client8 + некоторые с ключиком -b.

Все это прекрасно работает, пока не случится какой-нибудь глюк с БД, которая отвечает за tasks. В результате часть workers отваливается, да так что для нормальной работы их приходится перестартовать вручную, что не есть хорошо. Можно ли этот процесс автоматизировать ( т е чтобы в случае каких либо ошибок workers вываливались, а не висели с ошибкой бесполезным скриптом ) ?

★★☆☆

да, можно, любой системой мониторинга. по какому признаку ты определяешь, что они «мертвы»? самое сложное — автоматизировать эту проверку

val-amart ★★★★★ ()

а зачем несколько, если очередь одинаковая и -c задан? я вот сейчас колеблюсь, тоже нужна распределенная очередь, пока заюзал именно селеру, говоришь отваливается? за что именно отвечает бд, за хранение результатов или очереди? может попробовать на amqp бекенде, раз все равно отваливается?

trashymichael ★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.