Легковесная очередь сообщений с python-api

Если не подходит файл, тогда может подойдёт каталог файлов? :)

Berkeley DB, думаю, лучше подходит для этих целей, чем sqlite.

ZeroMQ (http://en.wikipedia.org/wiki/ZeroMQ). Есть вагон биндингов к разным языкам.

kombu c транспортом на выбор

Бери sqlite :). Избежишь некоторых заморочек с файлами. Хотя, я бы на файликах сделал...

На куче файликов в папке, как blexey предлагал? Т.е. идея в том, чтобы каждое сообщение в отдельный файл пихать, а когда оно обработано, то файл удалять?

Вроде бы это решает главные проблемы одного файла: 1. Не нужно лочить файл (а т.к. всего один процесс, то директорию тоже лочить не нужно - тупо добавляем в нее файл и ок) 2. Атомарность записи сообщения (move работает атомарно, так что через временный файл можно атомарно создать новое сообщение в папке)

Спасибо.

Собственно, у меня только одно возражение против файлов: очень часто разработчики забывают проверять на ошибки. Например, ты случайно запустил своего демона из-под рута и рабочий процесс не может писать в файл. Или свет моргнул и какой-то из файлов потерялся. Или не до конца дописался (можно попробовать вызывать fdatasync, кстати).

Есть ещё нюанс с очерёдностью. В общем случае файлы хранятся в неотсортированном виде, поэтому надо будет сортировать если порядок обработки данных имеет значение.

Поэтому идея с sqlite, на самом деле, неплоха т.к. многих граблей можно избежать.

вангую, что тебе не нужны все богатые возможности sqlite - бери какой-нибудь NoSql, leveldb, например

в bdb уже есть такая сущность как очередь

Меня как раз грабли и смущают. Не хочется на это много времени тратить. Можно, конечно, и bdb взять, как тут советуют, но с ней опыта вообще 0, т.е опять - время... Так что пока на sqlite сделаю, а бэкенд можно будет подменить потом, когда на ощупывание bdb время появится.

kestrel https://github.com/robey/kestrel

Хм, а разве sqlite допускает одновременный доступ из разных процессов?

http://www.sqlite.org/faq.html#q5

Можно, конечно, и bdb взять, как тут советуют, но с ней опыта вообще 0, т.е опять - время...

Там нет ничего сложного. http://hg.jcea.es/pybsddb/file/4c87e8ee80e2/Lib/bsddb/test/test_queue.py

Так что пока на sqlite сделаю

И конечно сделаешь потоко- и процессо- безопасно. Ню-ню.

За пример спасибо, а по sqlite подучи матчасть.

Я бы посоветовал redis, т.к. он маленький, но быстрый и имеет механизм очередей.

Как вариант, посмотрите на http://python-rq.org/