LINUX.ORG.RU

python3 celery механизм работы, общие вопросы

 ,


1

1

Всем доброго дня, есть вопросы по celery:

  • 1. Работал сервер, далее его ребутнули, куда деваются таски которые выполнялись в момент выполнения?
  • 2. Верно ли я понимаю что 1 таска = 1 процесс?
  • 3. Можно ли указать сколько процессов юзать до запуска таксков? То есть не в конфиге лазить, а прям перед запуском сказать что вот для этой группы тасков потолок допустим 20 процессов. Требуется это значение менять динамически.
  • 4. Что происходит с тасками после выполнения? У меня такое ощущение что пока я не сделаю вызов .forget() то они (результаты их выполнений) будут болтаться в памяти
  • 5. Добавляю таски, а они все в PENDING, и не ясно почему так, есть механизм как-то форсировать выполнение?
  • 6. Есть ли нормальные туториалы по сабжу? На офф сайте есть немного, но этого мало, я бы хотел посмотреть как в продакшене рабочий код выглядит, разобраться с тем как люди работают, чтобы не городить велосипеды
  • 7. Можно ли собрать исполняемый файл (например exe для windows) да так чтобы celery был уже внутри? И чтобы это всё было без излишней возни

лучше тебе взять что-то более простое и топорное, целери более общая библиотека для сборки на ее основе своего инструмента, не потянешь.

anonymous ()
Ответ на: комментарий от anonymous

Сейчас задача требует celery, так как планируется выполнять огромное количество тасков. Раньше я работал с multiprocessing и пулами, но сейчас ощущаю что этого стало мало и пора браться за celery.

rubro ()

2. нет, 1 таска = 1 worker

3. не уверен, можно только ограничить одновременное количество выполняемых тасков определённой группы. воркеры запущены всегда и их должно быть достаточно

4. записывается результат в redis, например (зависит как настроишь)

5. надо, чтобы какой-нибудь worker их взял

i_gnatenko_brain ★★★★ ()
Последнее исправление: i_gnatenko_brain (всего исправлений: 1)

они все в PENDING,

Ты сначала брокера запусти.

Начни свое знакомство с Celery с документации.

BigAlex ★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.