LINUX.ORG.RU
ФорумAdmin

Отдача по IMAP огромного объема почты

 clawsmail, , , ,


0

2

Есть VDS. на ней настроена почта и она работает. Есть юзер, задача которого разбирать большую помойку патчей из листов и прикладывать к разным деревьям git. Объем принятой почты может достигать тысяч писем в день и объем хранимой почты - сотни тысяч писем, приходящих как с публичных мейл-листов так и с внутренних рассылок. VDS нормально справляется с приемом почты, но в последнее время стала возникать проблема с ее просмотром. Mutt не справляется с просмотром, открывает ее минут по 40. Claws справляется, но не содержит нужной функциональности для работы с патчами (нельзя прямо из клиента приложить к дереву), и графический, что не всегда удобно в силу того, что человек может оказаться с очень плохим каналом связи. Исключить локальный доступ к почте в силу порядка работы не получится. Но решили попробовать imap сервер с Maildir в надежде, что работа с почтой ускорится. К сожалению, в случае с Mutt она замедлилась. И локальный Maildir (мееедленно) и Maildir через IMAP (чуть побыстрее, но все равно медленно) результатов по ускорению никаких не дали. Claws в состоянии медленно всасывать почту и давать с ней работать одновременно, что нам подходит, но не позволяет использовать нужные нам макросы. Есть ли у кого какие идеи как оптимизировать это хозяйство? Какой imap сервер кроме dovecot-imap можно использовать, или можно обойтись без него и сделать все локально и быстро?

Но есть вот такие требования: 1. Почта и гиты не должны покидать VDS и оказываться на компьютере пользователя (ну сделаем исключение для кэша IMAP).

2. Должна быть возможность сделать работу, зайдя на VDS по ssh, желательно текстовым клиентом (каким?).

3. Ну и так, чтоб не ждать 40 минут на открытие списка писем и каждый раз, когда приспичит его перезаписать...

Да, еще, человеку нужно формировать Berkeyey mbox из патчей, прежде чем скармливать макросу, так что хранение почты в базе данных может не подходить...

★★★★★

а если взять sieve и сортировать почту по директориям в момент получения? или я не совсем правильно понял задачу?

Skolotovich ★★★
()

3. Ну и так, чтоб не ждать 40 минут на открытие списка писем и каждый раз, когда приспичит его перезаписать...

Тогда просто не закрывайте тот же mutt по окончанию работы с почтой. Сделать это можно например с помощью «screen» - зашел по ssh, сделал что надо, задетачил скрин до следующего раза. В это время mutt будет сам «подсасывать» новую почту по imap или с локальной ФС, причем не придется ждать по 40 минут. Правда стоит только выйти из mutt, то следующий запуск займет те же 40+ минут.

FreeBSD ★★★
()

1. Почта и гиты не должны покидать VDS и оказываться на компьютере пользователя (ну сделаем исключение для кэша IMAP).

кэш IMAP - это уже почта

lazyklimm ★★★★★
()
Ответ на: комментарий от lazyklimm

Я же написал - сделаем исключение для кэша IMAP, с юзерской точки зрения «почта хранится на сервере».

slapin ★★★★★
() автор топика
Ответ на: комментарий от Skolotovich

Ну вот я думаю или sieve или procmail и нарезать но вот по какому принципу нарезать, и как в этом всем потом копаться?

slapin ★★★★★
() автор топика
Ответ на: комментарий от slapin

с юзерской точки зрения и не видимый вооруженным глазом локальный Maildir (синхронизируемый, например, с помощью offlineimap) будет храниться на сервере

lazyklimm ★★★★★
()

Какой imap сервер кроме dovecot-imap можно использовать,

Про Cyrus-IMAP пишут, что рассчитан на много. Сам пользуюсь, вроде правду пишут. Но раскладка по каталогам посредством Sieve используется вовсю.

AS ★★★★★
()

Я так понимаю что во входящих почта долго не хранится - сразу разгребается. Значит что там максимум тыща-другая писем. Неужели mutt не может тыщу писем открыть? Как-то не верится.

Если вы всё же храните все письма (омг), то тогда складируйте их в отдельную папку/ящик, а из входящих удаляйте всё что больше не нужно.

true_admin ★★★★★
()
Ответ на: комментарий от FreeBSD

Этот вариант сейчас и используется, но он тормозит :(

slapin ★★★★★
() автор топика

1. Почта и гиты не должны покидать VDS и оказываться на компьютере пользователя

Что мешает стянуть нужное по FISH?

Chaser_Andrey ★★★★★
()
Ответ на: комментарий от Chaser_Andrey

Ну, там нет сверхсекретной инфы, просто поймают - дадут по рукам. Это административный вопрос. Мне надо чтобы он мог так работать - не таща ничего к себе на комп.

slapin ★★★★★
() автор топика

Мысли вслух. Что mutt, что claws у мнея тормозили если была активна сортировка by thread. С дефолтной сострироввкой работало заметно быстрее. Есть еще google://«mutt maildir cache», но результаты сего не однозначны. Отзывы встречаются разные.

macumazan ★★
()
Ответ на: комментарий от slapin

но вот по какому принципу нарезать

тю, открываешь исходник письма и внимательно смотришь на хедеры, на крайний случай сабжект или фром

например, мейл листы часто добавляют List-Id, только что глянул, его еще и гитхаб при рассылки уведомлений пользует, чет аналогичное можно найти и у другого рассылочного софта

procmail

пользовать процмейл да при живом имап сервере это моветон и оскорбление всего карнеги-мэлони

Skolotovich ★★★
()
Ответ на: комментарий от Skolotovich

List-Id

Там не особо равномерно распределены листы по количеству писем, то густо, то пусто.

procmail

пользовать процмейл да при живом имап сервере это моветон и оскорбление всего карнеги-мэлони

А можно мысль поподробнее расшифровать? Я имею в виду пользовать его как локальный доставляльщик до Maildir'а/mailbox'а и им заодно нарезать...

slapin ★★★★★
() автор топика
Ответ на: комментарий от slapin

Я имею в виду пользовать его как локальный доставляльщик до Maildir'а/mailbox'а и им заодно нарезать...

большество imap серверов прекрасно работают как LDA, а sieve создан именно для фильтрации и сортировки почты

почитай http://ru.wikipedia.org/wiki/Sieve

Да, еще, человеку нужно формировать Berkeyey mbox из патчей, прежде чем скармливать макросу, так что хранение почты в базе данных может не подходить...

а можно подробнее об этом, может проще переделать этот «макрос» для работы с imap?

зы: я не могу найти в трэде о каких объемах почты говорится и какой имап сервер?

Skolotovich ★★★
()
Ответ на: комментарий от Skolotovich

а можно подробнее об этом, может проще переделать этот «макрос» для работы с imap?

Макрос в mutt.там нужно отдельные письма в mbox скаладывать, кормить ими скрипт, который проверяет стандартные ошибки и кормит mbox'ом git.

зы: я не могу найти в трэде о каких объемах почты говорится и какой имап сервер?

IMAP-сервер - dovecot-imap

slapin ★★★★★
() автор топика
Ответ на: комментарий от slapin

Макрос в mutt.там нужно отдельные письма в mbox скаладывать, кормить ими скрипт, который проверяет стандартные ошибки и кормит mbox'ом git.

это по идее сивом можно сделать, если внешний скрипт переписать на сив нельзя, то смотри http://wiki2.dovecot.org/Pigeonhole/Sieve/Plugins/Pipe

IMAP-сервер - dovecot-imap

ему процмейл точно не надо (:, а объемы какие?

цайрус например строит индексы и бегает по директории с 3-4к писем очень шустро

Skolotovich ★★★
()
Ответ на: комментарий от Skolotovich

баклог обычно 100K писем, но бывает и немного больше

slapin ★★★★★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.