LINUX.ORG.RU
 
xargs

Фильтрация спама при помощи greylistd+exim


0

0

Небольшая статья, рассказывающая о чрезвычайно эффективном методе фильтрации спама на основе так называемых "серых листов" (greylist).

Статья описывает использование связки greylistd и exim в Debian/Ubuntu, общий принцип работы грейлистинга, есть ссылки на другие способы грейлистинга.

Статья расположена на Debian-wiki, если вы заметите какие-либо неточности, пожалуйста, исправляйте. К сожалению, отсутствует какая-либо статистика по использованию грейлистинга в sa-exim, а было бы очень интересным сравнение систем грейлистинга sa-exim и greylistd. Может быть, кто-то обладает подобной информацией и дополнит статью?

>>> Подробности


[#]  

Re: Фильтрация спама при помощи greylistd+exim

электронная почта не нужна.

***** ()
[#]  

Re: Фильтрация спама при помощи greylistd+exim

убейте sendmail и exim в реальных условиях работы сервиса электронной почты postfix куда удобней чем эти костыли

anonymous ()
[#]  
k0l0b0k

Re: Фильтрация спама при помощи greylistd+exim

ИМХО, грейлистинг - это только геморой админам почтовика (настраивать), админам других почтовиков (пробивать), и юзерам всех почтовиков, ибо почта ходит с офигевшими задержками. Плюс ко всему - неужели эта техника такая секретная для спамеров, что они ее не пробивают?

** ()
[#]  

Re: Фильтрация спама при помощи greylistd+exim

Грейлистеров - давить. Был у партнеров грейлист, ко всем почта ходила в постфиксе из коробки, но к нем - только после настроек интервалов под его грейлистинг, иначе рубил как сспам.

***** ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от k0l0b0k 24.05.2008 22:04:50  

Re: Фильтрация спама при помощи greylistd+exim

>грейлистинг - это только геморой админам почтовика

>Плюс ко всему - неужели эта техника такая секретная для спамеров, что они ее не пробивают?

Потрудился бы ознакомиться с приципами работы грейлистинга прежде чем осуждать и в то же время задавать такие вопросы

anonymous ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от sv75 24.05.2008 22:09:28  

Re: Фильтрация спама при помощи greylistd+exim

Спамеров - давить. Тех кто не осилил настроить интервалы повторной пересылки в почтовике - считать за спамеров.

anonymous ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от sv75 24.05.2008 22:09:28  

Re: Фильтрация спама при помощи greylistd+exim

>Грейлистеров - давить. Был у партнеров грейлист, ко всем почта ходила в постфиксе из коробки, но к нем - только после настроек интервалов под его грейлистинг, иначе рубил как сспам.

Debian postfix+posgrey(из коробки) режет 80-95% спама, дает задержку от 15 до 60 минут (зависит от настроек тайменгов перепосыла почтовика отпровителя)

95% пользователей на предложение об отключитии этого филтра на их ящик, думают минуту другую и говорят, нет лучьше задержка чем прежнее количество спама.

ИМХО либо у партнеров кривая реализация, либо ..... еще какая фигня на какомно почтовике.

anonymous ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от anonymous 24.05.2008 22:31:17  

Re: Фильтрация спама при помощи greylistd+exim

Кстати, а насколько хорошо в постфиксе, например, рубить за отсутствующий реверс и тому подобные штуки? а рубить за присутствие в базе данных вроде spamhaus?

anonymous ()
[#]  

Re: Фильтрация спама при помощи greylistd+exim

отлично... ждём тему "Фильтрация спама при помощи GMail"

anonymous ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от sv75 24.05.2008 22:09:28  

Re: Фильтрация спама при помощи greylistd+exim

> Грейлистеров - давить. Был у партнеров грейлист, ко всем почта ходила в постфиксе из коробки, но к нем - только после настроек интервалов под его грейлистинг, иначе рубил как сспам.

В таких тяжелых случаях, вместе с greylisting применяют whitelisting.

anonymous ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от k0l0b0k 24.05.2008 22:04:50  

Re: Фильтрация спама при помощи greylistd+exim

>Плюс ко всему - неужели эта техника такая секретная для спамеров, что они ее не пробивают?

Техника ни разу не секретная, и спамеры ее пробивают. Но эта техника многократно увеличивает затраты на рассылку спама.

А в целом согласен. Серые списки себя не оправдывают. Куда эффективней правильно настроенный razor.

***** ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от anonymous 24.05.2008 23:08:04  

Re: Фильтрация спама при помощи greylistd+exim

>Кстати, а насколько хорошо в постфиксе, например, рубить за отсутствующий реверс и тому подобные штуки?

Легко. Одной директивой в конфиге. Только таких админов надо самих рубить.

>а рубить за присутствие в базе данных вроде spamhaus?

Элементарно. Но таких админов надо жечь в паровозной топке.

***** ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от anonymous 24.05.2008 22:31:17  

Re: Фильтрация спама при помощи greylistd+exim

>Debian postfix+posgrey(из коробки) режет 80-95% спама, дает задержку от 15 до 60 минут (зависит от настроек тайменгов перепосыла почтовика отпровителя)

Во первых, задержка на 15 минут означает, что подтверждения на прохождение важной почты вы не получите.

Во вторых, грейлистинг убивает подтверждения регистрации по почте ибо они по природе своей единичны и зачастую посылаются без применения mta, то есть без полноценной почтовой очереди.

***** ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от AVL2 24.05.2008 23:21:46  

Re: Фильтрация спама при помощи greylistd+exim

>>Кстати, а насколько хорошо в постфиксе, например, рубить за отсутствующий реверс и тому подобные штуки?

>Легко. Одной директивой в конфиге. Только таких админов надо самих рубить.

Правда? В RFC написано что обратку почтовик обязан иметь.

А вообще же, банальный [[:digit:]]+[.-][[:digit:]]+[.-][[:digit:]]+[.-][[:digit:]] на CONNECT обрубит процентов 90 спама влёхкую.

anonymous ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от AVL2 24.05.2008 23:19:44  

Re: Фильтрация спама при помощи greylistd+exim

> Серые списки себя не оправдывают. Куда эффективней правильно настроенный razor.

Razor и прочие системы осуществляющие фильтрацию по_контенту_сообщений себя не оправдывают. Куда эффективней грамотно настоенная система грейлистинга.

anonymous ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от AVL2 24.05.2008 23:24:06  

Re: Фильтрация спама при помощи greylistd+exim

> Во первых, задержка на 15 минут означает, что подтверждения на прохождение важной почты вы не получите.

4.2

> Во вторых, грейлистинг убивает подтверждения регистрации по почте ибо они по природе своей единичны и зачастую посылаются без применения mta, то есть без полноценной почтовой очереди.

4.2

Покурите в сторонке, пожалуйста

anonymous ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от AVL2 24.05.2008 23:24:06  

Re: Фильтрация спама при помощи greylistd+exim

> Во вторых, грейлистинг убивает подтверждения регистрации по почте ибо они по природе своей единичны и зачастую посылаются без применения mta, то есть без полноценной почтовой очереди.

Ага. прямым соединением твоего IE на 25 порт

anonymous ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от k0l0b0k 24.05.2008 22:04:50  
xargs

Re: Фильтрация спама при помощи greylistd+exim

>ИМХО, грейлистинг - это только геморой админам почтовика (настраивать), админам других почтовиков (пробивать), и юзерам всех почтовиков, ибо почта ходит с офигевшими задержками.

никаких афигенных задержек

задержка один раз на первое прохождение письма

а все последующие письма с данного адреса идут без задержек

*** ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от anonymous 24.05.2008 23:40:44  

Re: Фильтрация спама при помощи greylistd+exim

>Ага. прямым соединением твоего IE на 25 порт

ага, только не моего ie (у меня вообще никакого ie нет), а из говнопэхапэ скрипта. Че нибудь в тком роде - http://bellonline.co.uk/web-services/free/scripts/php-mailer-script/demo.php

***** ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от anonymous 24.05.2008 23:40:44  
k0l0b0k

Re: Фильтрация спама при помощи greylistd+exim

Ну не так грубо, но быдлопейсатели интернетов иногда так и делают в своем любимом похапэ

** ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от k0l0b0k 24.05.2008 22:04:50  
xargs

Re: Фильтрация спама при помощи greylistd+exim

>Плюс ко всему - неужели эта техника такая секретная для спамеров, что они ее не пробивают?

в статье же описано и почему спамеры ее не пробивают и пример приведен статистики снятой с реального сервера (более 99% спама отбито)

*** ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от AVL2 24.05.2008 23:45:12  
xargs

Re: Фильтрация спама при помощи greylistd+exim

>ага, только не моего ie (у меня вообще никакого ie нет), а из

все софтины пытающиеся с клиентских компьютеров обращаться к 25-м портам вне локалки жечь в топках

админов разрешающих коннект из локалки на 25 порт отправлять за этими софтинами

*** ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от xargs 24.05.2008 23:44:56  

Re: Фильтрация спама при помощи greylistd+exim

>никаких афигенных задержек

>задержка один раз на первое прохождение письма

>а все последующие письма с данного адреса идут без задержек

Это в теории. Но для высоконагруженых сервисов типа ютуба, nic.ru и т.д., где почтовая очередь всегда большая, письмо может идти очень долго или не прийти вообще. Поэтому для грейлистинга необходимо еще и вебморду делать для юзеров, чтоб они могли превентивно добавлять в белый спислк те домены, с которых они ждут почту. Но кто эту морду делает?

***** ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от AVL2 24.05.2008 23:45:12  

Re: Фильтрация спама при помощи greylistd+exim

>ага, только не моего ie (у меня вообще никакого ie нет), а из говнопэхапэ скрипта. Че нибудь в тком роде - http://bellonline.co.uk/web-services/free/scripts/php-mailer-script/demo.php

Все верно. Грейлистинг как раз и должен отсеивать сообщения передаваемые с помощью вот таких приблуд.

Почта должна идти через МТА понимающие ответы типа "сервер временно недоступен" и точка.

anonymous ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от anonymous 24.05.2008 22:31:17  
k0l0b0k

Re: Фильтрация спама при помощи greylistd+exim

Рекомендация к настройке smtp - проталкивать очередь раз в 30 мин. (не помню источник). И в лучшем случае тебе в каментах к 451 скажут, мол, запускай queue roller.

Запарило пробивать каждый недосерверок, у которого 3 почтовых ящика и грейлист часов на 12.

** ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от k0l0b0k 24.05.2008 23:46:51  

Re: Фильтрация спама при помощи greylistd+exim

> А кто тебе сказал что я не знаком?

Ты осудил грейлистинг а потом спросил как оно работает!

anonymous ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от AVL2 24.05.2008 23:19:44  
kilolife

Re: Фильтрация спама при помощи greylistd+exim

Statistics since Sun Jul 1 01:56:11 2007 (328 days and 22 hours ago)
---------------------------------------------------------------------
8210 items, matching 126639 requests, are currently whitelisted
0 items, matching 0 requests, are currently blacklisted
709 items, matching 720 requests, are currently greylisted

Of 554133 items that were initially greylisted:
- 17482 ( 3.2%) became whitelisted
- 536651 ( 96.8%) expired from the greylist


Пиццот тышш спамерских писем минуло мои почтовые ящики, куда уж эффективнее.
А быдло пхп скрипты, которые изображают недо-mta не надо приводить в пример.
На любом нормальном хостинге есть и доступен нормальный sendmail.

***** ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от xargs 24.05.2008 23:49:41  

Re: Фильтрация спама при помощи greylistd+exim

>все софтины пытающиеся с клиентских компьютеров обращаться к 25-м портам вне локалки жечь в топках

>админов разрешающих коннект из локалки на 25 порт отправлять за этими софтинами

При чем тут локалка? речь про всякие интернет-серверы и сервисы. Зачастую качество мта, предоставляемого провайдером не позволяет им пользоваться.

Я согласен, что мта нужен всегда. И на локалхосте его имеет смысл держать. Но речь про интернеты, где далеко не все следуют этому правилу.

***** ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от anonymous 24.05.2008 23:53:09  

Re: Фильтрация спама при помощи greylistd+exim

У меня сейчас проблемы с каналом. С nic.ru я должен получать серию писем каждые 4 часа.

С грейлистингом я сейчас получаю прцентов 30-40 этих писем...

***** ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от k0l0b0k 24.05.2008 23:46:51  

Re: Фильтрация спама при помощи greylistd+exim

> А кто тебе сказал что я не знаком?

...или скорее ты не зраком с техникой работы спамеров

anonymous ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от AVL2 24.05.2008 23:53:03  
kilolife

Re: Фильтрация спама при помощи greylistd+exim

Ога, а гмыл значит невысоконагруженный почтовый сервер. Куда ему до nic.ru - рылом не вышел. Хотя и оттуда и оттуда письма спокойно проходят грейлисты.

***** ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от anonymous 24.05.2008 23:31:51  
k0l0b0k

Re: Фильтрация спама при помощи greylistd+exim

>Razor и прочие системы осуществляющие фильтрацию по_контенту_сообщений себя не оправдывают. Куда эффективней грамотно настоенная система грейлистинга.

Зато позволяет настроить фильтрацию под _каждого_ юзера. У меня к примеру шеф - читает русскоязычный спам (хобби чтоле?).

** ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от k0l0b0k 24.05.2008 23:54:41  
xargs

Re: Фильтрация спама при помощи greylistd+exim

>99% - не верю.

это с реального сервера статистика, сейчас если сюда заглянет kilolife он может дать статистику с сервера использующегося более длительный интервал времени (но там тоже примерно столько же)

я установил грейлистинг на трех серверах и везде результат примерно одинаковый

на старой работе у меня вертится exim на сервере на старом железе (Р133/32), так вот, спамассасин этот сервер удерживал в постоянной нагрузке в диапазоне load average 5-6 с установкой грейлистинга средняя нагрузка упала до 1.5, а пользователи отметили что спама стало значительно меньше (там те же 99%, только писем побольше чем 3000/сутки :))

*** ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от AVL2 24.05.2008 23:58:09  

Re: Фильтрация спама при помощи greylistd+exim

> У меня сейчас проблемы с каналом. С nic.ru я должен получать серию писем каждые 4 часа.

> С грейлистингом я сейчас получаю прцентов 30-40 этих писем...

Проблемы с каналом... а пинаешь на грейлистинг

anonymous ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от kilolife 24.05.2008 23:59:12  

Re: Фильтрация спама при помощи greylistd+exim

Гмыл только и занимается, что отправляет почту. В таких случаях обычно все ок. А речь про сервисы, где почта только для нотификации, то есть вещь не основная. Вот гемора с ними куча. А вообще провы вполне могут убивать спам. В принципе, достаточно сделать его платным и все...

***** ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от anonymous 25.05.2008 0:00:47  

Re: Фильтрация спама при помощи greylistd+exim

>Проблемы с каналом... а пинаешь на грейлистинг

Почта на другом канале. И работает как всегда.

***** ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от k0l0b0k 24.05.2008 23:59:27  
kilolife

Re: Фильтрация спама при помощи greylistd+exim

Есть такое. Две строчки в конфиг екзима позволяют пропускать почту для конкретных ящиков или для конкретных доменов без грейлистов. Так что тут проблем нет никаких.

***** ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от AVL2 24.05.2008 23:58:09  

Re: Фильтрация спама при помощи greylistd+exim

> У меня сейчас проблемы с каналом. С nic.ru я должен получать серию писем каждые 4 часа.

> С грейлистингом я сейчас получаю прцентов 30-40 этих писем...

Добавить нужные адреса в белый список отрабатываемый перед грейлистингом?

anonymous ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от anonymous 25.05.2008 0:03:17  

Re: Фильтрация спама при помощи greylistd+exim

>Добавить нужные адреса в белый список отрабатываемый перед грейлистингом?

да. но я еще ни разу не видел хорошего энтерпраз-решения, где группа модератеров админ через быдлоинтерфейс могли вести общий белый/черный список и юзеры аналогично моглди вести личные списки.

***** ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от anonymous 24.05.2008 23:55:13  
k0l0b0k

Re: Фильтрация спама при помощи greylistd+exim

Если бы не знал - не говорил бы. Просто как-то тупо - тут крики на каждом углу что в спам уже и mp3 запихивают, а пробивание smtp - никак не сделают.

** ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от AVL2 25.05.2008 0:06:58  

Re: Фильтрация спама при помощи greylistd+exim

а заодно, чтобы модератор видел через тот же быдлоинтерфейс список сообщений, сформированный согласно правилам доступа и мог централизованно отправить спам в чистилище.

***** ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от AVL2 25.05.2008 0:06:58  
xargs

Re: Фильтрация спама при помощи greylistd+exim

>да. но я еще ни разу не видел хорошего энтерпраз-решения, где группа модератеров админ через быдлоинтерфейс могли вести общий белый/черный список и юзеры аналогично моглди вести личные списки.

как делается энтерпрайз решение для спамассасина?

расшаривается два каталога куда можно класть спам-неспам письма

и по крону скрипт их забирает

точно так же можно пополнять белый/блеклист

то есть по крону скрипт заглядывает в некий каталог в поисках файла whitelist/blacklist

и все что в whitelist удаляет из своего blacklist, а если там нет добавляет в свой whitelist и наоборот

скрипты по 20 строк не больше

*** ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от k0l0b0k 25.05.2008 0:08:38  

Re: Фильтрация спама при помощи greylistd+exim

>Просто как-то тупо - тут крики на каждом углу что в спам уже и mp3 запихивают, а пробивание smtp - никак не сделают.

Да пробивают, пробивают. Просто спам основан на ничтожной стоимости посылки письма, в тут она возрастает, как минимум, вдвое. И поэтому как ни выкручивайся, а спама ты отправишь вдвое меньше, чем мог бы.

***** ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от k0l0b0k 25.05.2008 0:08:38  
xargs

Re: Фильтрация спама при помощи greylistd+exim

>Если бы не знал - не говорил бы. Просто как-то тупо - тут крики на каждом углу что в спам уже и mp3 запихивают, а пробивание smtp - никак не сделают.

спам-скрипту на зараженном компьютере в задаче стоит максимальное кол-во писем разослать

если он будет ретраи делать то эффективность его резко упадет, а сложность резко возрастет.

потому грейлистинг настолько эффективен против спама

*** ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от xargs 25.05.2008 0:10:29  

Re: Фильтрация спама при помощи greylistd+exim

не, это должны быть списки регэкспов с указанием полей. Списки масок ипадресов, доменов, откуда почту вы не ждете и т.д.

а скрипты, спамасасины - все это слишком автоматично, слепо и в итоге мимо...

***** ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от k0l0b0k 24.05.2008 23:59:27  

Re: Фильтрация спама при помощи greylistd+exim

> Зато позволяет настроить фильтрацию под _каждого_ юзера. У меня к примеру шеф - читает русскоязычный спам (хобби чтоле?).

Меняй шефа.

anonymous ()
[#] Ответ на: Re: Фильтрация спама при помощи greylistd+exim от AVL2 25.05.2008 0:13:49  
xargs

Re: Фильтрация спама при помощи greylistd+exim

>а скрипты, спамасасины - все это слишком автоматично, слепо и в итоге мимо...

не знаю у меня работает.

я админю сервера несколько небольших фирм

так вот все прекрасно понимают: "прошедший спам класть в эту папку", "если нужное письмо пометилось как спам класть в эту папку"

даже секретарши-блондинки

и главное работает как часы.

то есть если до грейлистинга спамассасин у меня там выгребал из той кучи где-то 90% спама, то теперь еще грейлистинг выгребает 99

а суммарно получается что спамассасин теперь выгребает 90% из оставшегося процента :)

и главное никаких мимо

*** ()