Dovecot dbox единое хранилище вложений

Нашёл в конфигурационном файле:

# Directory root where to store mail attachments. Disabled, if empty.
#mail_attachment_dir =

# Attachments smaller than this aren't saved externally. It's also possible to
# write a plugin to disable saving specific attachments externally.
#mail_attachment_min_size = 128k

# Filesystem backend to use for saving attachments:
#  posix : No SiS done by Dovecot (but this might help FS's own deduplication)
#  sis posix : SiS with immediate byte-by-byte comparison during saving
#  sis-queue posix : SiS with delayed comparison and deduplication
#mail_attachment_fs = sis posix

# Hash format to use in attachment filenames. You can add any text and
# variables: %{md4}, %{md5}, %{sha1}, %{sha256}, %{sha512}, %{size}.
# Variables can be truncated, e.g. %{sha256:80} returns only first 80 bits
#mail_attachment_hash = %{sha1}

# Settings to control adding $HasAttachment or $HasNoAttachment keywords.
# By default, all MIME parts with Content-Disposition=attachment, or inlines
# with filename parameter are consired attachments.
#   add-flags-on-save - Add the keywords when saving new mails.
#   content-type=type or !type - Include/exclude content type. Excluding will
#     never consider the matched MIME part as attachment. Including will only
#     negate an exclusion (e.g. content-type=!foo/* content-type=foo/bar).
#   exclude-inlined - Exclude any Content-Disposition=inline MIME part.
#mail_attachment_detection_options =

Получается остаётся только вопрос как правильно сконвертировать сжатые письма в формате Maildir.

Распаковывать очень не хочется, если честно.

закинь на fs со сжатием

Можно и так сделать потом.

Но смысл в том, что сейчас есть ящики в формате Maildir, где часть писем сжата gzip и сохранены под тем же именем файла.

И далее в настройке протоколов IMAP / POP3 подключен плагин zlib для того, что бы отдавались сжатые письма корректно:

protocol imap {
    mail_plugins = $mail_plugins imap_quota imap_acl zlib imap_zlib

И вот при конвертировании ящика в формате Maildir в формат mdbox:

dsync -u username mirror maildir:~/Maildir

Выводятся ошибки, что реальный размер файла не соответствует тому, что указан в имени файла.

Т.к. файл с письмом сжат gzip.

Может для команды

dsync -u username mirror maildir:~/Maildir

есть ключ, который ей укажет. что в начале нужно распаковать файл, а потом делать уже проверки.

Ну если нет. то придётся распаковывать файлы.

После включения mail_attachment_dir и конвертирования ящиков в формат mdbox, с учётом того, что процент дублирования вложений велик, размер занятого пространства должен снизиться.

Но распаковывать файлы не хотелось бы, но видимо придётся.

man dsync

ну и fs со сжатием и deduplication ))>

man dsync я открывал и читал, про предварительную распаковку я там не нашёл.

Поэтому и спросил здесь, надеясь что кто-то решал задачу без распаковки сжатых писем.

Распаковать письма и сделать конвертацию я могу и так. Но их очень много.

А по поводу дедупликции в случае использования общего хранилища вложений она и так будет работать.

Считается хэш сумма вложения и далее под именем хэша файл сохраняется в общее хранилище.

В итоге копия вложения в хранилище будет одна для всех писем.

Если не знаешь, то всё равно спасибо за желание помочь.

да не, бро, просто ты решаешь несуществующую проблему. я подкидываю идеи.

а вообще, как бы сделал я: делаешь новый сервер, по своим нуждам, десятикратный imapsync, перевод mx на новое место. ты решаешь странную задачу

Проблема существует для меня. Места относительно не слишком много, а пользователей несколько тысяч.

Останавливать нельзя.

Резервного сервера тоже пока нет. Всё в процессе.

Поэтому буду распаковывать и менять формат ящиков, уже проверил проходит штатно, даже с учётом одного большого ящика есть высвобождение пространства.

Подскажите, как чистить mail_attachment_dir в случае, если письма со всех почтовых ящиков, к которым относятся вложения в хранилище будут удалены, то что будет с файлами вложений в общем хранилище?

Если удаляешь через dovecot то вложения удаляются соответственно до последнего и затем до конца (там хардлинки). Если удалил почтовый ящик с логами то вложения останутся навсегда. Поэтому перед удалением ящика удаляй из него всё через doveadm.

doveadm -v expunge -d -u USERNAME mailbox '*' all
doveadm -v purge -u USERNAME
rm -rf /var/mail/USERNAME

По сжатию, тебе всё равно придётся переходить на формат хранилища mdbox (в нём также есть сжатие, проверь). И если ты хочешь вложения из старых писем переместить то придётся всё перегонять, иначе туда будут попадать только новые.

Возможно ты сможешь переконвертировать по частям, по одному пользователю. Сделай макет и попробуй на нём.

Спасибо за разъяснение.

Я уже посмотрел, что там хардлинки на хэш файл.

Добавил пояснение в шапку темы.

Если удалил почтовый ящик с логами то вложения останутся навсегда. Поэтому перед удалением ящика удаляй из него всё через doveadm.

За уточнение большое спасибо, учту.

Скажите пожалуйста, проблем со сжатием не будет при последующем переносе и конвертации в другой формат ящика?

А то сейчас приходится распаковывать старые письма в Maildir и только потом делать конвертацию.

Мне не приходилось конвертировать из maildir со сжатием. Из maildir когда то давно конвертировал, вроде прошло нормально. Вообще, если не ошибаюсь, dovecot позволял сжатие только на mdbox.

В любом случае имеет смысл сделать макет. Можно скопировать на него используемый ящик который вызывает сомнения и попробовать конвертацию. Заодно можно будет посмотреть поведение при удалении: создать две учётные записи и между ними посылать файлы. А также проверить поведение при конвертации и как будет работать почта во время и после, откуда будет dovecot отдавать пользователю почту и чем это определяется.

Можете подсказать что лучше использовать для mail_attachment_fs, sis posix или просто posix?

Сейчас я выставил sis posix.

Честно говоря я взял все значения кроме mail_attachment_dir из образца. То есть, также sis posix.

В моём случае FS’s own deduplication не используется: posix : No SiS done by Dovecot (but this might help FS’s own deduplication)

Это я читал, интересует практический опыт сравнения.

Спасибо.