Фильтрация спама при помощи greylistd+exim

>Как только зафиксирована массовая рассылка одного и того же сообщения - блок.

как будешь разгребать "одного и того же"? спамеру что трудно случайный текст в тело сообщения втыкать?

>да. но я еще ни разу не видел хорошего энтерпраз-решения, где группа модератеров админ через быдлоинтерфейс могли вести общий белый/черный список и юзеры аналогично моглди вести личные списки.

Такое впечатление, что админам и юзерам вашей фирмы больше нечем заняться, ей богу...

Да на нормально работающей фирме админа предложившего такое решение уволят ровно через одну минуту.

То что спама через грейлист стало проходит больше чем год назад, это факт. Там где было одно сообщение в месяц стало пять.

Но масштабы продвинутости спамеров кажутся мне преувеличенными. В конце концов есть же не малая аудитория с серверами типа exchange, которые спаму как будто радуются, так что смысла перестраиватся для спамеров нет.

А вообще, в целом, пора писать петиции в мировой обком об отмене smtp как класса.

Как там кстати подпись исходящих писем ключами (DKI? ) поживает? кто нить отслеживает?

>Лучше убить его деревянными счётами и свалить все на бухгалтерию.
>Одним ударом двух зайцев. И грейлистинг пойдет и проблема 1с
>растворится...

По подозоению в убийстве арестован AVL2...
Сослуживцы видели, как он отмывал деревянные счеты...
Как объяснил AVL2, кровь на счетах из его пальцев: он их стер,
подсчитывая количество принятого спама...
AVL2 не смог объяснить, куда пропало кресло из его машины...

>Я за химичекий метод. Талий - надежно и безопасно. Но это решение другой задачи...

и никакого удовлетворения

Почитай статью по ссылке из первого топика этого треда. Там есть команды для снятия статистики.

Со спамом боролся давно и успешно. Изучил вдоль и поперек все методы. Опробывал их на практике. Каждый день чего-то делал и усовершенствовал.

С серыми списками завязал -- из-за побочных эффектов -- пропадание почтовых сообщений, не у всех сервера настроенны по кошерному, и это раз, задержки в доставке сообщений стоили моей конторе срывом нескольких незначительных сделок. Ну еще один довод -- эффективность использования снижается со временем.

В настоящее время использую Postfix+СпамОборону -- руки свободны, почта не пропадает, со спамом вообще не парюсь, недостатки -- это не бесплатно, хотя деньги не большие, трафик жрет -- актуально для тех кто не на анлиме.

Иди в пень, рекламный агент всякого отстоя.

гыгы повеселил

>Иди в пень, рекламный агент всякого отстоя.

Кило жизни -- явно отстой.

Господа противники серых списков. Нехотите использовать неиспользуйте

На почтовике у меня не одна организация. Все они в курсе задержек и потенциальных проблем доставки (из за несотвествия стандарту ряда почтовых серверов откуда им шлют). Все используют простое решение, на организацию есть 1 ящик на котороый серые списки нераспростроняются. И если что срочное пересылают, используют его.

Почтовый трафик снизился в месяц раз так в 10-20, и сответсвено расходы на него в рублях, а это немалые средства для не анлимщиков.

Тем кто не верит в 100% по сравнению со спамассином, тут просто все что несоблюдает RFC работы SMTP считается спамом, свыше 90% обычного спама его несоблюдает. Плюс за 30 минут отыкрытые релее успевают попасть в черные списки. Ну а про неправелно настроеные\работабщие почтовики, эдак можно утверждать что мы обязаны принемать почту с открытых релеев, и серверов злобных спамеров.

Писал уж сто раз, но почему же никто не слышит.

Почтовый сервер - это не только непреступный бастион для спамеров, это ещё, в некоторой степени, средство удобной и быстрой связи хороших людей. Кроме того, что возникают не всегда уместные задержки доставки письма по времени, ещё бывает очень неприятно когда твоё честное письмо не принимают, подозревая, что ты спамер.

Братья, почтовых серверов управляющие!

По умолчанию greylistd должен пропускать письма, а заворачивать, чтобы прислали ещё раз, только подозрительные.

Что является подозрительным, можно решить, как кому нравится. Например, "сложно-сочиненные" имена сервера-отправителя, вроде, ppp89-110-4-1.pppoe.avangarddsl.ru вполне можно и не принимать сразу - с извинениями, что, мол, время сейчас трудное.

Это будет гуманный грейлистинг. В сочетании с другими не менее гуманными методами, кстати, весьма эффективно.

Согласен полностью. Изначально настроенный на отлуп всех писем многое не пропускает. Пример из личного опыта. Письма с list.ru он же mail.ru приходили с разных ип адресов (минус конечно, ну да ладно) но вот время каждого повтора ровнялось 7 часам. Теперь смотрим, письмо не факт что дойдет вообще, в грейЛисте у меня было 4 адреса list.ru и каждый там появлялся после 7 часов задержки...... я думаю дальше рассказывать не стоит почему было принято отказаться от этой системы до лучших времен (настроить нормальный фильт)

Никто не строит бастионы против спамеров. Задача простая - снизить издержки организации, связанные со спамом. Если из-за кучи спама корреспондент не заметит а то и удалит нужное письмо - вряд ли это будет лучше того, что письмо придет с небольшой задержкой грейлистинга. Я за грейлистинг.

> По умолчанию greylistd должен пропускать письма, а заворачивать, чтобы прислали ещё раз, только подозрительные.

Я не понял, это как? Суть грейлиста как раз в том, что подозрительными объявляются те рассыльщики, которые не соответствуют RFC в плане реакции на 4xx smtp-ответы.

>По умолчанию greylistd должен пропускать письма, а заворачивать, чтобы прислали ещё раз, только подозрительные.

кстати что-то похожее используется в механизме грейлистинга sa-exim. именно поэтому оч хотелось бы сравнения статистики работы greylistd и sa-exim.

sa-exim сперва проверяет почту spamassassin'ом, а после проверки решает уже дать отлуп по грейлистингу или дать OK

таких идиотских доменов с ламерами-админами вроде mail.ru и list.ru раз-два и обчелся

их вполне можно было внести в конфиг и радоваться жизни :)

>Я не понял, это как? Суть грейлиста как раз в том, что подозрительными объявляются те рассыльщики, которые не соответствуют RFC в плане реакции на 4xx smtp-ответы.

да, но есть еще компромис: сперва проглядываем письмо и если оно явно неспамовое (по каким-то критериям), то принимаем его, если по письму трудно принять однозначное решение, то грейлистим, если письмо явно спамовое делаем вид что приняли и выкидываем его в корзину.

кто пользуется грейлистами в sa-exim? пожалуйста поделитесь опытом!

> Чушь. Для почтового сообщения время доставки 30 минут считается нормальным.

Вы считаете, что админ - царь и бог, а не обслуживающий персонал, повышающий эффективность бизнеса?

> А чего дояться? Это обычная процедура в некоторых системах.

Того, что эти люди с говноадмином и есть ваши VIP-клиенты. Законы Мерфи читал?

> На приветствие "helo localhost" без авторизации можно прерывать сессию смело.

Если только есть надежда устроится на подработку у этих товарищей для настройки системы...

> таких идиотских доменов с ламерами-админами вроде mail.ru и list.ru раз-два и обчелся

Известное наблюдение: для грейлистера все остальные админы - ламеры.

>для грейлистера все остальные админы - ламеры.

а кто же они? гугл делает ретраи через 15 минут, хотмейл делает, даже убогий яндекс и тот делает а маилру только через 7 часов

это ж додуматься-то надо до такого!

> а с грейлистингом теперь 1-2 :)

Ага, и кто говорил про 0%? 1-2 это и есть 5% у меня.

> а кто же они? гугл делает ретраи через 15 минут,

И всегда с того же хоcта? А если будет с другого - тоже будет ламер?

> а маилру только через 7 часов

Какой обязательный пункт RFC это нарушает, кстати (полагаю, такой есть...)

> По умолчанию greylistd должен пропускать письма, а заворачивать, чтобы прислали ещё раз, только подозрительные.

>Я не понял, это как? Суть грейлиста как раз в том, что подозрительными объявляются те рассыльщики, которые не соответствуют RFC в плане реакции на 4xx smtp-ответы.

Вопрос в том, кто этих 4xx ответов заслуживает. Несмотря на то, что формально грейлист не нарушает никаких стандартов, его применение связано со многими неудобствами. Хорошо бы поэтому, не отказываясь от него как весьма эффективного средства, как-то снизить неприятные последствия от него для честых писем, соблюсти презумпция невиновности к ним.

MTA может "сказать" демону, отвечаеющему за серые списки, как нужно поступить с письмом. В случае exim-а и greylistd это могло бы выглядеть примерно так:

Сначала MTA проверяет какие-то условия и в зависимости от них устанавливает переменную GREY

condition = ${if and { {!def:VAR_GOOD_HELO}{NONAME_OR_FUNNY} } } set VAR_GREY = GREY

Затем

defer message = $sender_host_address is not yet authorized to deliver mail from <$sender_address> to <$local_part@$domain>. Please try later. condition = ${if eq {$VAR_GREY}{GREY} }

Здесь грейлистинг срабатывает только, если VAR_GREY = 'GREY'

>Ага, и кто говорил про 0%?

кто говорил? не знаю, разве кто-то говорил?

>1-2 это и есть 5% у меня.

ну если эл почтой вообще не пользоваться то наверно так оно и будет.

>И всегда с того же хоcта? А если будет с другого - тоже будет ламер?

гугл делает и с разных хостов. но задержек писем на грейлистинге дольше 30-40 минут я от гугла не видел

> Писал уж сто раз, но почему же никто не слышит.

Профессиональное заболевание админов.

> Почтовый сервер - это не только непреступный бастион для спамеров, это ещё, в некоторой степени, средство удобной и быстрой связи хороших людей.

(Крики в зале): да он за секретуток и манагеров, ату его!

> По умолчанию greylistd должен пропускать письма, а заворачивать, чтобы прислали ещё раз, только подозрительные.

Это звучит разумно. Но как я понимаю, обычно делают не так?

>Сначала MTA проверяет какие-то условия и в зависимости от них устанавливает переменную GREY

вот грейлистинг на базе sa-exim именно так и работает, мне все недосуг перенастроить один из серверов на sa-exim/greylisting и поиграться с оптимизацией критериев грейлистинга (на это время просто надо приличное)

поэтому я ОЧЕНЬ бы хотел услышать отзывы тех кто эту работу проделал, с удовольствием бы почитал аналогичную топиковой статью на эту тему

> смтп прова вполне может глючить. Я вот периодически наблюдаю глюки у акады, у корбины и ситека. Так что это не решение. Нахрена мы ставим свой сервак к прову, чтоб перемножать надежность своего почтовика на его?

Если рассылка почта (не спама) это ваше очень важно дело, то с провом можно договориться и посылать минуя сервер провайдера.
Провайдер ведь разрешает выход на 25 порт не всем, а по списку - значит этот список можно расширить.

К Харгсу

У меня sa-exim работет, но серыми списками занимается не он. Я посмотрел сейчас в описание, и мне показалось, что вернуть результаты своей работы назад в MTA он не может. У него свой грейлист и настраивается он через свой конфигурационный файл.

Можно было бы, конечно, пользоваться его грейлистом, а не greylistd, у этог метода было бы одно дополнительное достоинство - Spamassassin подключался бы тогда к принятию решения, кого грейлистить.

Однако, имеется и недостаток - письмо принимается после smtp-data, когда письмо фактически получено целиком, когда отработал тяжелый Spamssаssassin и съел все ресурсы при большом количестве писем.

> А вот как работает greylist с системой, постоянно рассылающей через *разные* хосты? gg: gmail greylisting... о, да, проблемы есть.

Обычный который матчит по src-ip хреново работает

А вот если матчить по reverse dns с откидываением первого слова включая '.' - то нормально работает

Берется reverse dns => 'f1.google.com'
откидывается и сравнивается по 'google.com'
У всех отправителей google как можно догадаться будет reverse dns *.google.com

> Берется reverse dns => 'f1.google.com' > откидывается и сравнивается по 'google.com' > У всех отправителей google как можно догадаться будет reverse dns > *.google.com

Умно, меня вот массово атаковали спамеры с blah-blah.sameprovider.cn, теперь они все будут в белом списке?

У меня тоже грейлистинг отрубает 98% или около спама. Очень счастлив! Сколько времени я тратил чтобы вручную посмотреть 700 писем спамбокса! А если я на gprs это делал - то еще попадал на деньги и нервы

Вот набил результаты внедрения (и там же есть ссылка как это как его поднимать на RHEL c sendmail): http://vvh-dev-ru.blogspot.com/2008/03/greylisting_30.html

Была проблема - одна тикетная система у используемого ecommerce provider (писана на быдлояве) слала письма напрямую, но я их научил уму разуму: http://vvh-dev-ru.blogspot.com/2008/04/blog-post_16.html

Тему не читал, но осуждаю.. отсутствие нормальных новостей на глагной

И кстати как написано тут: http://vvh-dev-ru.blogspot.com/2008/03/greylisting_30.html ТОЛЬКО российский и китайский (или японский - я в иероглифах не секу) спам изредко проходит через грейлистинг (у меня задержка в 30 минут стоит), но так как кол-во спама упало в 70-100 раз, то мне пофигу на это..

Сильно жалею что эту вещь не прикрутил 2-3 года назад, столько заказчиков потеряно (не найдя их письма в спамбоксе)..

>Щаз. Это принцип работы грейлиста - в дом пускают всех, кто похож на честного человека ;)

Абсолютно не так. Принцип работы грейлистинга как раз в том, что на входящего вообще смотрят, на кого он похож. Это контентные фильтры и фильтры по заголовкам смотрят, а грейлистинг, как легендарная секретарша Энцо Феррари каждому входязему говорит - "обожжите в приемной полчасика!".

Предполагается, что если клиент целенаправленно пришел в эту контору, то он обождет и во второй раз его пустят. А если это случайный спаммер пришел член увеличивать, то смысл ему сидеть и ждать, когда рядом куча такиже других офисов, где пускают сразу?

проблема в том, что с учетом вирусных сетей, спаммеры давно уже не платят за рассылку сообщений совим временем и трафиком, поэтому в конечном итоге сервер с грейлистингом для спамера может стать даже привлекательным, поскольку он гарантирует, что здесь его письмо скорее всего прочитают.

>Если рассылка почта (не спама) это ваше очень важно дело, то с провом можно договориться и посылать минуя сервер провайдера. Провайдер ведь разрешает выход на 25 порт не всем, а по списку - значит этот список можно расширить.

С этого и начинали. Никакой вменяемый пров не запрещает рассылку мимо своего почтового сервера, так что и договариваться нет нужды. Но тут тоже засада - большинство ип-сетей на дедиках давно уже сидят в спамбазах, так что и тут почта, бывает, обламывается...

>Господа противники серых списков. Нехотите использовать неиспользуйте

Во первых, тут выражают личное мнение. Не хотите, не слушайте.

Во вторых, грейлистинг бывает не только на своем сервере (где на 100% - не хочешь, не используй), но и на другой стороне, где я уже ни на что не влияю.

>Почтовый трафик снизился в месяц раз так в 10-20, и сответсвено расходы на него в рублях, а это немалые средства для не анлимщиков.

выдерни сетевой кабель - ваще одна экономия настанет.

>эдак можно утверждать что мы обязаны принемать почту с открытых релеев, и серверов злобных спамеров.

Все проще. С грейлистингом электропочта превращается из оперативного и надежного средства коммуникаций в хромого калеку. Дело усугубляется тем, что сам по себе механизм email ничего не гарантирует, поэтому в ответственных случаях все равно необходимо подтверждение по альтернативным каналам. И в этом случае вместо пяти минут (послал, позвонил, получил подтверждение, забил) процедура растягивается на неопределенное время (послал, позвонил, не получили, не получили, не получили...получили, или нет, но получат, или нет и не получат).

Короче, проще уже общаться через гизму. Сразу, сголосом, с видео, с подтверждениями и файл послать можно и никаких грейлистов...

> С грейлистингом электропочта превращается из оперативного и надежного средства коммуникаций в хромого калеку.

Дайте пожать руку. Приятно видеть, что на свете остались вменяемые люди.

AVL2 respect )))

капец дочего тупорогие спамодрочеры тут .. не нужна никакая фильмтрация по спаму ..

тем более грей листинг .. как достали прововые админы шароглазики .. которые нихера не могут настроить .. и почта пропадет и все дела .. приходитца ставить свой майл сервер и покупать домен ..

поначитаютца поделок в интернете нихера не соображающие .. админы .. и вопят что спама нет ..

да спама нет .. как и нет писем ..

говоришь ему .. МНЕ НУЖЕН ВЕСЬ спам все письма .. нет .. опять бычит .. какие то фильмтры рисует ..

>Однако, имеется и недостаток - письмо принимается после smtp-data, когда письмо фактически получено целиком, когда отработал тяжелый Spamssаssassin и съел все ресурсы при большом количестве писем.

да но этот же недостаток с другой стороны является достоинством поскольку можно сделать компромис между жестким грейлистингом и его отсуствием :)

а так-то да и у меня sa-exim настроен, и тоже без грейлистинга

>говоришь ему .. МНЕ НУЖЕН ВЕСЬ спам

ты спамер? обратная связь тебе требуется?

>Все проще. С грейлистингом электропочта превращается из оперативного и надежного средства коммуникаций в хромого калеку.

она им и остается

те кто важен с теми переписка так или иначе идет и значит они постоянно в белых листах висят

а те кто эпизодами пишет тем 15 минут задержки рояли не сыграет

какая разница на ту задержку если письмо раз в три месяца проходит с этого адреса?

>>Однако, имеется и недостаток - письмо принимается после smtp-data, когда письмо фактически получено целиком, когда отработал тяжелый Spamssаssassin и съел все ресурсы при большом количестве писем.

>да но этот же недостаток с другой стороны является достоинством поскольку можно сделать компромис между жестким грейлистингом и его отсуствием :)

>а так-то да и у меня sa-exim настроен, и тоже без грейлистинга

О каком жестком и нежестком грейлистинге идет речь? Если письмо уже принято по smtp data, то какой может быть вообще грейлистинг? Поясните, о чем это вы.

> ты спамер? обратная связь тебе требуется?

Ну, человек несколько странно и эмоционально выражает свои мысли, но, мне кажется, что смысл там:

Дайте мне всю мою корреспонденцию, а уж что из нее - спам, а что - хам, я сам как-нибудь разберусь.

postfix наше всё

>> ты спамер? обратная связь тебе требуется?

>Ну, человек несколько странно и эмоционально выражает свои мысли, но, мне кажется, что смысл там:

>Дайте мне всю мою корреспонденцию, а уж что из нее - спам, а что - хам, я сам как-нибудь разберусь.

Бя@@@@@@ть! Понасрали-то. Когда же вы поймете что грейлистинг и контентные фильтры - совершенно разные технологии. Грейлистинг НЕ ФИЛЬТРУЕТ СООБЩЕНИЯ. Ему вообще все равно что там внутри сообщения. Можно сказать он производит фильтрацию МТА на начальной стадии smtp сессии.

> Грейлистинг НЕ ФИЛЬТРУЕТ СООБЩЕНИЯ. Можно сказать он производит фильтрацию МТА на начальной стадии smtp сессии.

Ну если "пшелнах" - это фильтрация, то можно и так сказать...

> Ну если "пшелнах" - это фильтрация, то можно и так сказать...

Не "пшелнах", а временно не могу принять ваше сообщение, подождите 5-10 минут.