Изменябельность celery tasks - можно ли?

По сути, ты заменяешь одну базу данных (postgresql, mongodb whatever) на две (сначала rabbitmq, затем уже твоя postgresql). Зачем это делать?

Основная цель выносить задачи — если они занимают много времени, требуют каких-то вычислений или взаимодействий с сетью. В данном случае (статистика) лучше вообще не делать её через celery.

Зачем это делать?

При даунтаймах, смена схемы, свитч мастера и т.д., данные не теряются. Приложение без проблем можно переключить в RO, а статистику потом накатить. К тому же, при хорошей нагрузке, запись в БД на каждый реквест — это пичаль.

Другая проблема, что ТС использует celery (абсолютно лишняя сущность в этой задаче), когда здесь напрашивается обычный pub/sub, причем в консьюмере можно значения схлопнуть как раз.

При даунтаймах, смена схемы, свитч мастера и т.д., данные не теряются.

Какие конкретно данные не теряются? Как раз наоборот, без использования celery данных теряется меньше.

Приложение без проблем можно переключить в RO, а статистику потом накатить.

Переключаешь приложение в RO — а статистика УЖЕ накатана.

К тому же, при хорошей нагрузке, запись в БД на каждый реквест — это пичаль.

Запуск каждой задачи celery — это запись в БД. И это не отменяя статистики.

Другая проблема, что ТС использует celery (абсолютно лишняя сущность в этой задаче), когда здесь напрашивается обычный pub/sub, причем в консьюмере можно значения схлопнуть как раз.

Глупость какая-то. Celery — это и есть pub/sub (точнее, механизм поверх него).

facepalm. Ты какой-то дурачок. Пусть кто-нибудь другой разжевывает. Я предельно устал сегодня.

при каждом реквесте юзеру прийдется ждать пока Something.save() произойдет. А база медленная. посему и кидаем в celery: и редирект происходит немедленно, и считает статистику.

pub/sub - то ж signals в джанге, не так ли? и как они реагируют на большие нагрузки?

то ж signals в джанге, не так ли?

Нет. Ключевые слова: message queue, producer, consumer.

А база медленная

Во-первых, с каких это пор «база медленная»? Во-вторых, с чего ты взял, что база, которая содержит celery-задачи (rabbitmq, например) будет быстрее того же постгреса? И то и то база, операции одинаковой сложности. Тупость, короче.

Тупость, короче.

Да, очередная тупость от бебикса.

Наркоман штоле?! С каких пор мнесия стала быстрее постгреса или мускла?

Не плоди сущностей!

Ключевое слово persistent messages. Ага.

У тебя, небось, логика на хранимках писана?

Для каждой задачи - свой инструмент.

Тут в соседнем треде упарываются по плюсам - тебе туда.

То есть, ты хочешь оспорить применимость rabbitmq как брокера?

Я хочу оспорить введение дополнительной сущности.

Да, очередная тупость от бебикса.

Да успокойся ты уже.