Ищу шедулер для питона, умеющий очень много задач

Ищу шедулер для питона, умеющий очень много задач

apache airflow?

четко по времени

Это не только от шедуллера зависит, но и от среды исполнения.

+/- 5 минут пофиг, но у меня при большом количестве задач отставание на часы

Тогда airflow это твоё, опционально с вынесенными celery worker’ами. Правда придется поучиться его готовить.

sched не подходит? Был опыт использования, проблем не возникало.

Нашёл у себя случайно http://www.celeryproject.org/ – по тексту звучит местами похоже.

Celery не умеет без опозданий by design.

У него все таски имеют ETA, которое будет точно соблюдено при удачных обстоятельствах (когда воркеры не заняты исполнением чего-то другого).

Celery в принципе позволяет снизить время опоздания за счет разбиения больших тасков на более мелкие и объединения их в цепочки.

Да на асинклупе напиши сам клиент к очередям, пусть каждые 10 секунд сверяет текущую дату с датой у задач в списке, при совпадении (или меньше) - дёргаем какой-нить Celery. Задачи можешь хранить в списке Редиса. Короче, это всё пишется дня за 2, главное, сначала подумать, спроектировать, а потом писать. Ну, и…не редисом единым, и не только Celery, смотри всякие апач проекты, они местами более фичастые

Удваиваю написать самостоятельно - тут гораздо проще будет так, чем пытаться найти что-то готовое, потому что обычно всякие сельдереи решают задачу "я скину таску в очередь, и когда там получится ее обработаем, потому что мне не хочется этим занимать тред вебсервера". Только вместо редиса или других кэшей я бы использовал РСУБД, потому что полюбому тебе сейчас понадобиться хранить результаты, перешедуливать задачи и вообще иметь нормальный интерфейс (в том числе и запросов) и отказоустойчивость.

Звучит как 5 строк на питоне.