Исправление pumpurumer, (текущая версия) :
airflow - это то что мне нужно. есть операторы (фигни которое что-то делают), есть сенсоры (которые определяют когда делать), есть DAG (который по факту - в терминах выше - цепочка. описывает взаимосвязи операторов и сенсоров). граф взаимосвязей, что за чем делать.
Из немаловажных для меня фичей - можно породить несколько заданий, потом дождатся всех, или например дождатся / проверить наличие неких результатов от внешней системы, которая слоупочит с разными таймингами.
и похоже есть перезапуск с точки падения. это тоже очень важно, при разработке / отладке / разборе инцидентов.
Осталось только понять, работает ли это с 3тим питоном, потому что в 2018 оно было на втором питоне.
Всем спасибо за внимание, пойду выкидывать свой велосипед :)
Исходная версия pumpurumer, :
airflow - это то что мне нужно. есть операторы (фигни которое что-то делают), есть сенсоры (которые определяют когда делать), есть DAG (который по факту - в терминах выше - цепочка. описывает взаимосвязи операторов и сенсоров). граф взаимосвязей, что за чем делать. Из немаловажных для меня фичей - можно породить несколько заданий, потом дождатся всех, или например дождатся / проверить наличие неких результатов от внешней системы, которая слоупочит с разными таймингами. и похоже есть перезапуск с точки падения. это тоже очень важно, при разработке / отладке / разборе инцидентов. Осталось только понять, работает ли это с 3тим питоном, потому что в 2018 оно было на втором питоне. Всем спасибо за внимание, пойду выкидывать свой велосипед :)