» СПАМ (SPAM) : методы борьбы со спамом

FeoNik
symantec mail security for smtp gateway 4.1 - правда платный и за лицензию premium antispam надо платить. Сам дистриб найти без проблем. А лицензии можно триальные (месячные) выписывать с симантека.

и всеже хотелось бы рубить спамеров на уровне файрвола..

например все попытки диалапшиков на 25 порт..

Добавлено:
Я вот тут поразмыслил малость..

хотелось бы иметь тулзу применительно к Sendmail и IPTables (и даже ipchains) которая следила бы в мыльных логах за строкой "reject=550", выдерала бы оттуда IP и загоняла бы его в черный список для файрвола.. и раз в день бы этот списочек обнуляла.. таким образом единожды засветившись спамерская зал*па молчала бы в течении дня..

есть тут спецы в скриптах? думаю многим бы пригодилось

сварганил небольшой скрипт на баше
может кому пригодится, да и может спецы подскажут как правильнее сделать:

Цитата:

tail -f /var/log/maillog | grep "reject=55" | while read s1 s2 s3 s4 s5 s6 cmd; do

pip=`expr match "$cmd" '.*\(\[.*.\]\)' `
if [ -n "$pip" ]; then
ip=${pip:1:`expr length $pip`-2}
echo $ip ": will be blocked"
ipchains -A input -s $ip/255.255.255.255 -d 0.0.0.0/0.0.0.0 -l -j DENY // или IPTables
fi
done

смысл в том, чтоб отбивать повторые попытки спамера на коннект с серваком..

у меня exim.
я быстро переделал и пока тестово пробую такую редакцию скрипта:

Цитата:

tail -f /var/log/exim/exim_rejectlog | while read cmd; do

pip=`expr match "$cmd" '.*\(\[.*.\]\)' `
if [ -n "$pip" ]; then
ip=${pip:1:`expr length $pip`-2}
echo $ip ": will be blocked"
iptables -A maildrop -s $ip/255.255.255.255 -d 0.0.0.0/0.0.0.0 -l -j DENY // или IPTables
fi
done

и по крону чистю...
позже через перловщину переделаю в базовый скрипт.
а reject обычно только те, что ч-з скрипт рбл-чека видны >= в 4 списках. причем предпочтение нашим - dul.ru и прочие. blackholes имеет малый вес как не принимающий все снг-сети.
обычно хватает delay 4-5 секунд на каждом этапе где подозрительно - хреновый helo, и прочие.

и скрипт перловый был в opennet найден - сейчас точно не помню - sub rblcheck - вызов:
#!/usr/bin/perl -w
sub rblcheck(){
my $cnt =0; my $host = Exim::expand_string('$sender_host_address');
my @rbl=("blackholes.mail-abuse.org",
"dialups.mail-abuse.org",
"relays.mail-abuse.org",
"relays.ordb.org",
"work.drbl.caravan.ru",
"dul.ru","bl.spamcop.net",
"cbl.abuseat.org",
"dnsbl.njabl.org",
"dnsbl.sorbs.net",
"sbl.spamhaus.org",
"list.dsbl.org",
"korea.services.net",
"china.blackholes.us",
"russia.blackholes.us");
my $ip=join('.',reverse(split/\./,$host));
foreach(@rbl){
my $string = "$ip.$_"; $cnt++ if h2ip($string) ne 0; if($cnt == 4){return "yes";}
}return "fail";}
sub h2ip{
my ($domain)=@_; my (@bytes,$name,$altnames,$addrtype,$len,$packaddr);
$domain =~ s/^\s+|\s+$//g; $SIG{'ALRM'} = sub { return };alarm (8);
if (!(($name, $altnames, $addrtype, $len, @addrlist) =gethostbyname ($domain))) {
return (0); } else { my $ip=join('.',(unpack("C4",$addrlist[0])));return ($ip);}
alarm (0);}

вот после поисков в сети обнаружил наборчик скриптов для тойже цели

_http://www.netadmintools.com/art412.html

на перловке

Мне тут один клиент задачку поставил.
У них есть простенький почтовый сервак, который акромя пересылки почты ничего и не умеет. Клиент не хочет менять почтовое ПО, но хочет со спамом побороться. Основная задача - сократить трафик. Т.о. нужен SMTP-прокси для винды, который фильтровал бы почтовый траффик по черным и белым спискам отправителей и IP-адресов, проверка существования отправителя, работа со службами списков спамеров, ограничение на размер письма, валидности получателя(т.е. некоторые получатели могут получать письма только по локальной сети, для инета их не существует). Мои поиски в инете пока никчему не привели, все что я находил, либо было не под винду, либо кроссплатформенное(на перле типа и т.д.), либо не могло работать как сервис, либо громозкое и дорогое( )...
Может кто чего подсказать?

Кто работал с TrendMicro Interscan MSS. Умеет ли он работать с LDAP, GC, для отфутболивания почты на несуществующие адреса (550)?

Делюсь своим опытом борьбы со спамом..
Платформа: Exchange 2003 SP2

Долго искал наиболее удачную тулзу-спамогрыз и ей оказался ORF (_www.vamsoft.com/orf).. Стоит недорого и на мой взгял очень удачна..

И так, комбинация

ORF (первый эшелон) -> GFI Mail Essentials (второй эшелон) -> Exchange (третий эшелон)

1-ый эшелон (от эффективности настройки до 90% спама умирает на нем)
ORF (версия 2.1)
1) Прописываем днс, все какие есть свои и провайдерские
2) включаем кэш днс.. определяем размер.. ставим ВСЕ галки
3) Обязательно прописывем хосты которые могу релеить почту к нам (понадобиться для SPF)
4) Тесты включить все.. DNS Blacklist и Reverse DNS сделать Both.. IP Blacklist, Sender BlackList, AD, Tarpit Delay - before arrival
5) DNS Black list - я лично параноик в это плане и врубил все списки.. просто от ранжировал их по порядку эффективности
6) Tarpit Delay - на все хиты, задержка по умолчанию 60 секунд.
7) галку Close SMTP connection when blocked поставить.. хоть это и противоречит правилам, но мне насрать.. не хочу получать еще какой-либо мусор по каналу ибо спамер всеравно ответ сервера не читает
8) URL blacklist - на выбор.. всеравно это не спасет от русскоязычного спама
9) Attachement filter - зарубить на корню все что можеть содержать вирусы (pif,vbs,scr и тд и тп) - пора когда вирусы рассылали живые больные юзвери прошли и письма с такими вложениями уже не содержат полезной инфы
10) Keyword Filtering - офигенно мощный инструмент.. GFI рядом не валялцо..

например выражение ^.*(один|1).?(ноль|0).?(пять|5).?(пять|5).?(один|1).?(восемь|8).?(шесть|6).*$ - раз и навсегда избавило меня от американского английского.. (ну пока они телефоны не сменят конечно)
11) Sender Blacklist - также поддерживает регулярные выражение (как и почти все остальные тулзы в ORF) - щас бродит какой-то вирус отсылающий нечто с адресов user(5 цифирей)@(aol,msn,yahoo и тд).com
рубиться выражением user\d{5}@(yahoo|aol|msn|hotmail|gmail).com
хотя почти все адреса с которых оное приходило в черных списках, зато снизим кол-во днс запросов

12) самое муторное Maximum header check depth.. в условиях своей конфы оптимумом оказалось 2.. некоторым лучше оставить 1.. вообще параметры требует разумной игры.. подробности есть в описании

2-ой эшелон:
GFI конечно мощная весчь.. но проблемы с русским...
в моем случае используется только Header Checking - он там всеже интереснее чем у ORF
итак в Header Checking
1)поставить все галки на первых двух закладках
2) снизить число ресипиентов в письме до 5 (тут конечно в зависимости от особенностей бизнеса)
3) максимальное число цифр в адресе 3.. больше цифирей как правило спам
4) письма с разным SMTP TO и MIME TO на 90% спам
5) класть все в Junk папку.. пусть экчеиндж смарт фильтр учится..

3-ой эшелон:
на серверной части эксейнджа только IMF + клиентские Junk Filter

в итоге все это в купе дает очень хороший уровень блокировки и нужные письма проходят как надо...

MeGaBrAiN
А что такое Tarpit delay? Вообще странно что ты все Dns Blacklist'ы включил. У меня спамкоп тут же послал нафиг одного нужного контакта с mail.ru.

Цитата:

А что такое Tarpit delay

задержка в приеме комманд.. он тебе HELO а ты ждешь указанное время перед тем как дать OK или еще-чтонить... помогает при переборе аккаунтов на предмет существования ящика..

все основные известные.. ну и если были композитные то соотвественно все дочерние тоже выключил..
по статистике больше всех корректные результаты дает abuse.org и spamhaus.. а вот сервера мейл.ру постоянно появляются в spambag'е.. так что его может и имеет смысл выключить..

MeGaBrAiN
До этого пользовался Kerio mail server. Там была такая технология - spam repellent. Фактически задержка smpt greeting'a. То есть между коннектом отправителя к моему серверу и непосредственно передачей письма была пауза секунд 20-30. Спамерский софт терял терпение и бросал передачу, а нормальные серверы выдерживали эту задержку. Так отсеивалось процентов 80 спама. Tarpit delay это тоже самое или нечто другое?

несовсем.. tarpit работает тогда когда сервер уже определил что письмо надо послать подальше..

потому как ORF всетаки фильтр, а не почтовик. то и работает он по правилами почтовика и не может делать задержку между командами..

А не кто не пробовал сотрудничать с составителями черных списков (DNS-BL) на предмет поставки им спама для внесения в эти самые списки? Вообще как эти списки формируются? откуда они берут информацию?

Цитата:

откуда они берут информацию?

у большинства из них есть формы для заполнения.. необходимо указать полный хидер письма.. 2-3 жалобы и адрес в дыре..

остальная информация формируется автоматически и по весьма простому принципу..

существует определенный временной и количественный трешолд

например спамер рассылает спам с одного ИП на несколько машин использующих один какой-либо список..

каждая из них формирует запрос в список и тот в свою очередь накапливает определенную статистику на этот "исходный" адрес..

далее если в течении определенного времени с определенного кол-ва хостов поступил запрос на проверку этого адреса то мы однозначно имеем массовую рассылку и с этим уже надо что-то делать.. что делать уже ясно..

это типа как базовый принцип


Добавлено:
Забыл еще упомянуть ихних ботов ищущих опен-релеи и прокси

плюсом все уважающие себя списки ведут информацию о диал-апных адресах, которые по хорошему надо банить по черному

Цитата:

если в течении определенного времени с определенного кол-ва хостов поступил запрос на проверку этого адреса то мы однозначно имеем массовую рассылку и с этим уже надо что-то делать..

Не факт, что данный подход хорош (могут быть и корректные рассылки, а это сразу ведение белого списка и т.д. по усложнению). Да и обходится сейчас это относительно просто.


Цитата:

уважающие себя списки ведут информацию о диал-апных адресах, которые по хорошему надо банить по черному

согласен, но больше спама идет с широкополосного доступа (xDSL и т.д.)

кстати, у кого какая статистика по эффективности Greylisting ?

Например, судя по анализу моих логов за последние полгода (postfix, 200-300 писем в сутки), мне бы эта технология не подошла бы. Слишком низкая эффективность была бы ~10% (т.е. только ~10% спама повторно не пытались "пробиться").

IMHO, сейчас большинство спама идет от сетей зараженных компьютеров-ботов, и анализируя логи могу сказать, что попадаются довольно грамотные технические решения, которым трудно противостоять. Но у таких сетей есть характерная особенность: обычно письма отправляются напрямую на smtp-сервер получателя минуя местного провайдера. Если у провайдера грамотные сисадмины, то все его IP имеют обратную зону в DNS, вот по ее содержимому и можно весьма эффективно фильтровать спам не принимая тело письма используя регулярные выражения (т.е. просто блокировать письма с IP с подозрительной обратной зоной и предлагать послать письмо через smtp местного ISP). Когда я это у себя настроил + некоторые стандартные проверки postfix + проверка на валидность адреса отправителя, то общая эффективность спам-фильтра составила ~95%. По моему это неплохой результат, если учесть, что тело письма не принимается и соответственно экономится трафик. После четырех месяцев наблюдений я даже отказался от RBL-списков, т.к. срабатывание по ним стало меньше 0.1%. Конечно, не обходится без ложных срабатываний, за полгода было три случая и все они были связаны с некорректными настройками DNS на стороне отправителя (~0.01% ?).

Ты таким образом так же делаешь запрос в днс, как и в RBL.. тока таким образом борьбу со спамом перекладываешь полностью на свои плечи..

метод хорош, да только требует много усилий.. в том числе составление корректных регэкспов..

хорошо если доставка идет прямо с адреса бота, но если у тебя несколько периметровых серваков то такой метод не пойдет потому как надо анализировать уже хидеры

Цитата:

Ты таким образом так же делаешь запрос в днс, как и в RBL.. тока таким образом борьбу со спамом перекладываешь полностью на свои плечи..

на плечи postfix :)
Дело в том, что в RBL попадают уже по факту рассылки, да и то не всегда и не оперативно. У меня фактически получается упреждающее блокирование. RBL хороша для блокирования спамерских серверов/сеток, а в моем случае, сделан акцент на противодействии именно сетям ботов... Могу только одно сказать: до использования этого метода (с использованием RBL и без проверки адреса отправителя) общая эффективность фильтра была ~70-80%. И спам от ботов "прорывался" почти всегда...
(я не рассматриваю варианты анализа тела писем на спам, т.к. у нас это делается на клиентской стороне, на том же The Bat например)


Цитата:

метод хорош, да только требует много усилий.. в том числе составление корректных регэкспов..

я не первый, кто подобное применяет :)
например, на почти все регэкспы я случайно наткнулся в одной рассылке
и со временем только слегка парочку модифицировал :)
вот они собственно:

Код:
client_checks.pcre :

/^(.+[\.\-])?(adsl|isdn|xdsl|cable|client|dhcp|dial|dial-in|dial-up|dialup|dsl|dyn|dynamic|dyndsl|pool|pooles|ppp|user|hsd)[\.\-_0-9].+/ 554 Access denied. Check your DNS or send mail by ISP smtp server
/((\.)|(\-)|x)[0-9]{1,3}((\.)|(\-)|x)[0-9]{1,3}((\.)|(\-)|x)[0-9]{1,3}((\.)|(\-)|x)/ 554 Access denied. Check your DNS or send mail by ISP smtp server
/[0-9]{4,20}/ 554 Access denied. Check your DNS or send mail by ISP smtp server

main.cf :

smtpd_recipient_restrictions =
reject_non_fqdn_sender,
reject_non_fqdn_recipient,
reject_unknown_recipient_domain,
permit_sasl_authenticated,
permit_mynetworks,
reject_invalid_hostname,
reject_non_fqdn_hostname,
reject_unauth_destination,
check_client_access pcre:/etc/postfix/client_checks.pcre,
reject_unknown_sender_domain,
reject_unverified_sender,
permit

Цитата:

Но если мне склероз не изменяет по RFC почтовый сервер отправителя должен пытаться отправлять письмо несколько суток (~трое ?) прежде чем выдать ошибку о невозможности доставки. Поэтому, отсутствие backup MX для меня некритично.

зависит от ответа сервака..
если от отобьет по 4.х.х то письмо пойдет по следующей приоритетной записи практически сразу же и коннект к конечной точке пойдет уже от релея.. и если на нет аналогичной проверки то нифига не выйдет..

кстати второй регексп у тебя рубит вполне лигитимных клиентов всяческих небольших организаций..
у меня конторка одна есть на дубоватом прове который инет раздает через впн и обратку держит у себя.. дык вот вся ихняя обратка соотвествует этому регу..

ну а первый хорош

unknown

Эх , жаль такие скрипты к MDaemon не прикрутить...

MeGaBrAiN

Жаль что все это происходит в виде жалобы, просто нереально на весь приходящий спам пожаловаться, забивая форму жалобы...

MeGaBrAiN

Цитата:

зависит от ответа сервака..
если от отобьет по 4.х.х то письмо пойдет по следующей приоритетной записи практически сразу же и коннект к конечной точке пойдет уже от релея.. и если на нет аналогичной проверки то нифига не выйдет..

Конечно, но я подразумевал вариант когда мой сервер по какой-то причине вдруг "упадет" и сервера отправителей просто не смогут с ним соединиться.


Цитата:

кстати второй регексп у тебя рубит вполне лигитимных клиентов всяческих небольших организаций..
у меня конторка одна есть на дубоватом прове который инет раздает через впн и обратку держит у себя.. дык вот вся ихняя обратка соотвествует этому регу..

В этом случае я обычно рекомендую или поговорить с провайдером и модифицировать обратную зону (если у прова сисадмин адекватный, то обычно все решается) или просто настроить отсылку почты не напрямую, а через/на smtp сервер провайдера. Тем более, последнее время у провайдеров становится популярным вообще блокировать соединения на чужие smtp сервера.

Sergey21102
не получая письма, да, думаю невозможно/сложно
а вот проверку после получения вполне реально прикрутить

Есть такой русский сайт по ORF Enterprise Edition - _www.orf-filter.ru
Пользуйтесь, кому надо, там есть русские описаловки по настройке.

Такая, блин, горячая тема...аж на 8 страниц....Вопщем...достатончо много.....И почти ни одного упоминания Kaspersky Anti-Spam....

Что неужели он не заслуживает внимания? Тем более, что недавно (относительно недавно) появилась новая, 3.0 версия этого продукта...

Я так понимаю, при создании он был ориентирован именно на русский спам (ну и зарубежный конен тоже отслеживается, как они говорят), а русский спам отличается от не русского.....А сейчас преобладающее большинство именно русского...

Кто что скажет? Неужели KAS отс@сыв@ет у других зарубежных продуктов?

вообще-то лучше настроить тот же спам ассасин и МТА, тот же эксим или постфикс.

Лучше? А чем лучше?...

Я просто почитал тут документацию, статьи лаборатории Касперского о их "новом" продукте KAS 3.0.....
Вобщем, универсальным таким показался.....Но...сам то я понимаю что это может быть не более чем реклама....НАписать то много чего можно, термины какие нибудь придумать, технологии, лишь на бумаге.....А что в деле то? Как он по эффективности?

Вот тут вычитал на форуме что не все продукты могут работать с русским языком...
А вот Касперский хвалиццо что мол кикието сигнатуры есть, какие то базы контентной информации, которые пополняются постоянно....И всякие другие фичи которые есть в других продуктах.....

Или интерес к Касперсокму столь холоден из-за его цены?....Я смотрю некоторые выбирают из дешовых-недорогих продуктов...

Неужели никто не пользовался Касперским АнтиСпамом?...Всётаки отечественный разработчик...ЗАрекомендовавший себя в сфере антивирусной защиты..Интересно узнать как он српавляется со спамом...

его зарекомендованость мягко говоря воняет.
по большому счету он не спасает винды (КАВ), вони много, превращает мощные машины в 486...
просто пиар. если есть возможность реализовать в настраиваевом продукте, а не в приблуде которая (про)дается за бешеные деньги фактически as is...
нафиг. присылали тестить предложение, потестил - м... впечатления - вежливо, очень вежливо сказал что я их продукт на ... вертел...(из анекдота)

У меня есть сервер Exchange и установленный на нем GFI. Есть также сервер Exchange сторонней организации. Вопрос - если я разрешу этому стороннему серверу Exchange релееть через мой сервер, GFI пометит все письма как спам или он вообще не обратит на них внимания, они ведь не досталяются локально пользователям? Другими словами интересует вопрос - на каком уросне работает GFI - на уровне SMTP или на уровне хранилища Exchange?

2 strvv

Я так посмотрел не такие уж бешенные деньги....Если сравнивать с другими продуктами...
И я так не понял ты про КАВ говоришь, или про КАС?

И почему ты говоришь что винды не защищеает...при чём тут это? Мы же про антиспамовую-защиту говорим....
Тем более что у лаборатории касперского есть версии антиспамовой защиты, для эксчейндж серверов (Касперски Секьюрити чтоли), причом построенные если я не ошибаюсь на ядре АнтиСпама

Я лично использую postfix и postgrey.
Технология Greylisting'a весьма продуктивна, редко бывают проблемы.
Может быть добавить в шапку?
http://greylisting.org/

SchTiRlic


Цитата:

Вот тут вычитал на форуме что не все продукты могут работать с русским языком...

Увы, в современной борьбе со спамом анализ содержимого входящей почты отошел на второй план, а на первом плане сейчас это анализ откуда и как приходит почта.

да дело в том что тяжелый продукт и сейчас дествительно семантический анализ текста это излишество, если сервер не сильный и/или там много еще задач которые он должен решать.
поповоду серых списков - если переписываются ч-з только твой сервер но снаружи... серые списки рубят, сейчас таких на фоне спама исчезающе мало но они есть и бывает очень кретиничная почта.
2штирлица - а по поводу кас и кав-а - фиговый листочек.
у меня - не соответствие РФС (ау, некоректно настроеные почтовые сервера, в т.ч. обратные записи по днс,
серые списки временно отключены - причины выше,
всякие идиотизмы в helo/ehlo и прочие отступления от разрешенных для внешних правил),
откуда точно не может идти почта - вырезаю целиком сети провайдеров или организаций по whois.