LINUX.ORG.RU
решено ФорумAdmin

современная и рабочая альтернатива imapsync

 , , ,


2

1

Привет!

Вопрос по сабжу.

Пользуюсь imapsync, тяну письма с GMail, но скорость меняется на порядок (в 10 раз) во время обмена.

Зависит от погоды на Марсе?

Канал к серваку 500 Мбит/с.

Ваши предложения?

★★★★★

Я такое делал в на c++ mail.ru, сделано через три собачьих хвоста (заметьте, не хруя!) И с кучей эвристик, которые постоянно менялись.

Trunk ()
Ответ на: комментарий от harlequin78

Дерьмо, mbsync как раз упирается в лимиты, imapsync просто режет по скорости.

Twissel ★★★★★ ()
Ответ на: комментарий от int13h

Ну сначала было честные 10 Мбит/с, сейчас выше 2 не поднимается.

Про takeout знаю, но как рассортировать письма по папкам, как в оригинале, вот вопрос?

Twissel ★★★★★ ()
Ответ на: комментарий от int13h

Ага… спасибо за ссылку.

А вот лимит не более 3-х раз в месяц можно скачивать ящик, я не учёл, да.

Twissel ★★★★★ ()
Ответ на: комментарий от int13h

Не слабо порезали. Емнип несколько лет назад ящик на 27Гб дня за 2 точно выкачивался. Хотя возможно это связано с тем что это платный акк.

anc ★★★★★ ()
Последнее исправление: anc (всего исправлений: 1)
Ответ на: комментарий от commagray

OfflineIMAP скоро всё, вместе с Python 2.7, на котором он написан. Переписывать на 3.x они вроде как не собираются, вместо этого пишут какую-то другую убервафлю, которая пока не готова.

mord0d ★★★ ()
Ответ на: комментарий от anc

В том то и соль, что я качаю с платного GSuite аккаунта.

Или я чего не понял и лимиты проставлены только для бесплатных ?

Twissel ★★★★★ ()
Ответ на: комментарий от commagray

Оно все мертво, как уже написали выше.

Из живого и практичного только imapsync.

Twissel ★★★★★ ()
Ответ на: комментарий от commagray

К чести imapsyc, как скрипта на Перле, работает как часики.

Действительно, это на первом акке донельзя ограничили скорость.

Второй акканут на пару сотен мегабайт скачался без проблем.

Twissel ★★★★★ ()
Ответ на: комментарий от int13h

Опять таки, на скачивание takeout GSuite тоже негласное ограничение, не более трёх раз…

В этом отношении все довольно кисло)

Twissel ★★★★★ ()
Ответ на: комментарий от Twissel

Из живого и практичного только imapsync.

isync ещё. Я с offlineimap свалил на него (не стоит дожидаться, когда offlineimap выпилят из репозиториев, потом придётся носиться как ужаленному, а пока можно неспешно переехать).

Умеет ли imapsync в Maildir? Умеет ли работать с несколькими аккаунтами? Умеет ли брать пароль из внешней программы пайпом?

mord0d ★★★ ()
Ответ на: комментарий от mord0d

isync вроде как надстройка на mbsync

Умеет ли imapsync в Maildir?

Ему пофиг какой у тебя формат хранения почты: он подключаться по IMAP host1 <-> host2 и фигачит.

Умеет ли работать с несколькими аккаунтами?

В чем проблема запустить две/несколько копий скрипта для каждого аккаунта?

Сам автор ничего не имеет против такого подхода https://imapsync.lamiral.info/FAQ.d/FAQ.Massive.txt

Умеет ли брать пароль из внешней программы пайпом?

Вот чего не знаю, того не знаю. Скорее всего, что нет)

Twissel ★★★★★ ()
Последнее исправление: Twissel (всего исправлений: 1)
Ответ на: комментарий от Twissel

А в ТП Gmail написать есть возможность? Возможно, предложат вариант миграции, если у вас коммерческое решение.

int13h ★★★★★ ()
Ответ на: комментарий от int13h

Ну это вариант.

Хорошо, что это пока тестовый стенд.

Только вряд ли они будут содействовать, т.к. мы от них уходим =)

Twissel ★★★★★ ()
Ответ на: комментарий от int13h

Да, ошибочка вышла, разумеется однонаправленный обмен.

Twissel ★★★★★ ()
Ответ на: комментарий от Twissel

Если на Exchange, попытаться архивировать почту через вышеуказанную утилиту и конвертировать в pst. А еще, ЕМНИП, у O365 была возможность «забирать» ящики — штатной утилиткой, в веб-интерфейсе, но могу ошибаться.

int13h ★★★★★ ()
Ответ на: комментарий от int13h

Спасибо, но думаем уезжать на Hetzner =)

Глупо, рискованно, но моё дело техническое)

Да не, все ок. Просто я не учел, что на количество синхронизаций тоже лимит.

Пока «туда-сюда» подобрал параметры и понял, что почту с меткой «GMail/All Mail» тоже надо исключать из синка, т.к. получается двойной объём.

Подожду 1 июня.

Twissel ★★★★★ ()
Ответ на: комментарий от Twissel

isync вроде как надстройка на mbsync

Но это не делает его хуже. Впрочем, у всех есть свои плюсы и минусы.

и фигачит

То есть фигачит оно as is.

В чем проблема запустить две/несколько копий скрипта для каждого аккаунта?

В том, что это вынуждает самому контролировать коннект (некоторые сервера не пускают кучу соединений разом). Больше ничем.

Вот чего не знаю, того не знаю. Скорее всего, что нет)

Я помню, что по какой-то причине не взял imapsync, но не помню по какой. Скорее всего это оно. ☺

mord0d ★★★ ()
Ответ на: комментарий от mord0d

В том, что это вынуждает самому контролировать коннект

Переподключает скрипт сам при обрыве , если ты об этом.

Он даже не убивается толком по ^C, только по kill -9 :-)

Twissel ★★★★★ ()
Последнее исправление: Twissel (всего исправлений: 1)
Ответ на: комментарий от mord0d

Умеет ли брать пароль из внешней программы пайпом?

В этой части что бы не палить пароль в списке процессов, умеет в параметры --passfile1 --passfile2, а какую обертку вы сделаете это ваше дело.

anc ★★★★★ ()
Ответ на: комментарий от mord0d

Я помню, что по какой-то причине не взял imapsync, но не помню по какой. Скорее всего это оно. ☺

Я наоборот выбрал его. Отдельная виртуалка, не особо парит в части выхлопа в части ps (некому кроме меня подсмотреть), это разовые задачи. Так же удобно фолдеры менять между исходящим и принимающим. Накалялал для себя скрипт для массового переноса с «точки» на «точку». Последний раз это было пару месяцев назад. Очень удобно, сохраняет все атрибуты.

anc ★★★★★ ()
Ответ на: комментарий от anc

Накалялал для себя скрипт для массового переноса с «точки» на «точку».

Можете поделиться? ;-)

Я из любопытства.

Twissel ★★★★★ ()
Ответ на: комментарий от anc

Отдельная виртуалка, не особо парит в части выхлопа в части ps (некому кроме меня подсмотреть)

Во FreeBSD изоляция PIDов per-user.

Так же удобно фолдеры менять между исходящим и принимающим.

Не понял. Типа nametrans (трансляция-маппинг имён папок) в OfflineIMAP?

Очень удобно, сохраняет все атрибуты.

Как будто isync и offlineimap делают как-то не так.

mord0d ★★★ ()
Ответ на: комментарий от Twissel

Очень простой говнокод, но вполне устраивает.

#!/bin/bash

HOSTFROM=''
HOSTTO=''

while read M; do
 declare -a UL=($M)
 imapsync \
   --host1 "$HOSTFROM" --user1 "${UL[0]}" --password1 "${UL[1]}" \
   --host2 "$HOSTTO" --user2 "${UL[2]}" --password2 "${UL[3]}" \
   --ssl1 --ssl2 --f1f2 possibleSpam=Spam
 if [ $? -ne 0 ]; then
  echo -e "ERROR!\nERROR!\nERROR!"
  exit
 fi
done < userlist

userlist файло где разделитель tab-ом формат:
emailfrom passwdfrom emailto passwdto
Никаких проверок в части комментарием и тому подобного. Тупо и злобно. Мне хватает.
echo -e "ERROR!\nERROR!\nERROR!" что бы в глаза бросилось, бывало что с паролями накосячиш. Но в данном случае, чем нравиться imapsync один фиг почти продолжим, мелкую сверку ящиков которые уже слились не берем.

anc ★★★★★ ()
Ответ на: комментарий от mord0d

Не понял. Типа nametrans (трансляция-маппинг имён папок) в OfflineIMAP?

Скорее, перенос из одной в другую в части названия. На примере приведенном мной выше
--f1f2 possibleSpam=Spam
лежало в possibleSpam
положили в Spam
Используя параметр --f1f2 можно переносить из папки в папку. Для меня последний раз важен был только этот момент, но ещё бывает много другого, типа Send-Sent Отправленные и т.п.

ЗЫ

Во FreeBSD изоляция PIDов per-user.

Я не собираюсь тащить кучу всего «ненужно» на хостовую систему, для задач которые раз в год по обещанию. Это если что, не конкретно про фряху, просто зачем замусоривать если давно придумали виртуалки и мощности позволяют? Все настроено, все робит, запустил разок на несколько дней и спи спокойно. Потом когда домен перекинул, повторил что бы пользователи не потеряли письма из-за корявых dns где-то там.

anc ★★★★★ ()
Последнее исправление: anc (всего исправлений: 3)
Ответ на: комментарий от Twissel

Тут есть нюанс в части «Потом когда домен перекинул, повторил что бы пользователи не потеряли письма из-за корявых dns где-то там.»
Было дело, пользователь (предупрежденный о переезде) пораскидал вручную письма по другим папкам и тут ему заново прилетело в inbox и другие :)
Но это редкость. Однако самое главное мы ничего не потеряли, как я всегда говорю «больше не меньше», основное что потерь нет.

anc ★★★★★ ()
Последнее исправление: anc (всего исправлений: 1)
Ответ на: комментарий от anc

Ну от слишком инициативного юзера никто не застрахован, это да.

Twissel ★★★★★ ()
Ответ на: комментарий от Twissel

Представляете, это на выходных, предупредили что будет «переезд», видимо скучно чуваку было, где-то 2к писем решил вручную(не совсем фильтры почтового клиента настраивал) рассортировать :) Но это другая азиатская страна, чем человек думал, не понятно. Притом что почту в обычном рабочем графике читает через день. А тут его прямо приперло. :) Это я к тому что и такое бывает. На моей практике это единичный случай. Однако не надо и про такое забывать. Все бывает.

ЗЫ А в остальном imapsync как писал выше меня(нет, даже не меня но и пользаков) вполне устраивает. Жалоб ровно ноль, а «переезжал» уже не раз и не два. Проблема только то, что с нового места заново качаем. Ну это как бэ логично. Поэтому надо обязательно согласовывать с клиентами. А то кто-то в командировку/отпуск а тут с инетом все плохо и почту не посмотришь.

anc ★★★★★ ()
Последнее исправление: anc (всего исправлений: 2)
Ответ на: комментарий от anc

Не понял. Типа nametrans (трансляция-маппинг имён папок) в OfflineIMAP?

Скорее, перенос из одной в другую в части названия.

Оно и есть.

тащить кучу всего «ненужно» на хостовую систему

А у меня и на виртуалках FreeBSD. Плюс джейлы. :3

Но вот хранить пароль в открытом виде я категорически отказываюсь! Даже в виртуалках, которые можно быстро нюкнуть.

Потом когда домен перекинул, повторил что бы пользователи не потеряли письма из-за корявых dns где-то там.

А для юзеров я бы вообще не заморачивался. В организации должна быть своя почта, а если нужен GSuite, то пусть он остаётся там, где лежит. Нафиг собирать почту пользователей с удалённых ящиков?

mord0d ★★★ ()
Ответ на: комментарий от mord0d

Я про перенос из точки A в точку B. Не более того. Это разовые операции.

Но вот хранить пароль в открытом виде я категорически отказываюсь! Даже в виртуалках, которые можно быстро нюкнуть.

Значит вы не умеете их готовить если допускаете такое. Точнее так, если вы допускаете что и виртуалку взломают, значит вы допускаете что и хост взломают.
И простите в каком виде вы будете при синхронизации передавать пароль, точнее откуда изначально его возьмете? Первичный ввод это все равно plain text, и все равно откуда он взялся, пользователь ручками или «убер система хранения паролей» подставила. Тут как с короной, сделал дело, «помой ручки». Но и предварительно маску не забудь надеть.

anc ★★★★★ ()
Последнее исправление: anc (всего исправлений: 2)
Ответ на: комментарий от anc

если вы допускаете что и виртуалку взломают, значит вы допускаете что и хост взломают.

Такую возможность исключать нельзя. В абсолютной безопасности могут находиться только те данные, которые не существуют. И то не вечно.

mord0d ★★★ ()
Ответ на: комментарий от mord0d

В абсолютной безопасности могут находиться только те данные, которые не существуют

В цитатник!

Twissel ★★★★★ ()
Ответ на: комментарий от int13h

Хм, странно себя ведёт GSuite: сделал 2 дня перерыв, снова честные 8-10 Мбит.

Хотя по их шпаргалке все лимиты исчерпаны… ну или я читать не умею)

Twissel ★★★★★ ()
Ответ на: комментарий от int13h

Про лимиты по скорости скачивания ничего не сказано.

Так что похоже, что в случае с GSuite, речь идёт о takeout, а не о IMAP.

Twissel ★★★★★ ()
Ответ на: комментарий от Twissel

ничего не сказано.

Открою тайну, только никому не говорите. Они ещё и про свою антиспам систему никому не говорят (попал фиг выпилишся) :)

ЗЫ Сегодняшний пример, без шуток. Почтовый клиент. Перестал забирать почту. Пипец решение. «Три» раза поменяй метод авторизации, каждый раз ругается на пароль, возвращаем к первоначальному, и бинго. Все работает как и было. Вот где логика со стороны гули? Я не понимай.

anc ★★★★★ ()
Последнее исправление: anc (всего исправлений: 1)
Ответ на: комментарий от anc

Они ещё и про свою антиспам систему никому не говорят

Ну там у меня удавалось запросить удаление из списка, только если это не самый «зашкваренный» IP4 Hetzner Helsinki.

А вот Hotmail/Outlook плюс Хетцнер это, мягко говоря, множество погибших нервных клеток и вырванных волос из разных мест без толку.

Несмотря ни на что, даже на подтверждение хостера о том, что IP4 свежий и выдан менее месяца назад, индусы из суппорта майков, похоже или тупо игнорируют запросы на разблокировку, или не могут разблокировать у себя на шлюзе отдельно взятый IP.

Недавно проклинал HotMail на чем свет стоит…

Twissel ★★★★★ ()
Ответ на: комментарий от Twissel

Выше в своем посте я поправил возможно не прочитали ЗЫ. Это действительно какая-то неведомая хрень.

anc ★★★★★ ()
Ответ на: комментарий от Twissel

Имхо гулю можно использовать только для чего-то нафиг не нужного.
Она правда не торт как в начале когда по инвайтам была. :)

anc ★★★★★ ()
Ответ на: комментарий от Twissel

Ну там у меня удавалось запросить удаление из списка, только если это не самый «зашкваренный» IP4

КАК ? Там же вообще такого не предусмотрено. Реально интересна история успеха. Плиз расскажите.

anc ★★★★★ ()
Ответ на: комментарий от anc

Там же вообще такого не предусмотрено.

Не совсем так. Для полностью заблокированного IP(Our system has detected that this message is 550-5.7.1 likely suspicious due to the very low reputation of the sending 550-5.7.1 domain/IP ) , в случае если сейчас все настроено корректно и нету бешеного трафика, есть форма.

Заполняете, излагаете суть, ждёте.

Где-то через месяц у меня IP разбанили.

Ну это только один такой случай был.

Если же рассылка просто летела в спам, несмотря на настройки PTR, SPF и прочего, я брал советы отсюда, в разделе Email Recipient Engagement.

Тут еще такой момент, что у меня есть 5 заброшенных юзерами акков гули, где я симулировал денёк-другой действия из статьи, чтобы письма с «белой» рассылки начали падать в инбокс. И для «спам» IP-адресов это действительно работает.

Twissel ★★★★★ ()
Последнее исправление: Twissel (всего исправлений: 2)
Ответ на: комментарий от anc

Продолжу немного рассказ о том, как меня с детищем Мартина Хетцнера обидел HotMail :-)

Если отбросить эмоции и нецензурную брань, которую я про себя адресовал различным Шиндракумарам с их шаблонными писульками, очень похоже на то, что где-то в году 2013 белые люди из MS ушли.

На место белых людей пришли смуглые люди. Белые люди не оставили смуглым «сменщикам» инструкций как обращаться с БД черных списков IP. Смуглые люди до сих пор юзают старые шаблоны писем для отписок всем пользователям, IP VPS которых в давние времена заслуженно попали в блеклисты, и симулируют бурную деятельность.

Иначе я не могу объяснить почему в AS Майкрософта в США почта уходит без проблем.

А в любую страну Европы в домене hotmail.tld — блокируется.

Я закончил :-)

Twissel ★★★★★ ()
Ответ на: комментарий от Twissel

Спасибо большое. На всякий случай эту тему отметил, мало ли что, а ваш ответ может пригодиться.

anc ★★★★★ ()
Ответ на: комментарий от Twissel

Вижу что накипело у вас сильно. Могу только искренне посочувствовать, что приходиться до сих пор иметь дело со всякими HotMail. :( Меня на текущий момент сея чаша уже миновала (не зарекайся сказал я сам себе).

anc ★★★★★ ()
Ограничение на отправку комментариев: только для зарегистрированных пользователей