» Настройка SpamAssassin на русскоязычный спам

SpamAssassin - это неплохой фильтр для идентификации спама. www.spamassassin.org
Используется во многих программных продуктах.
Меня интересует настройка SpamAssassin на Windows и Linux платформах (MDaemon и Postfix соответственно) на русскоязычный спам.

Для MDaemon как минимум надо внести в \MDaemon\SpamAssassin\rules\local.cf следующие строки:

Цитата:

ok_languages ru en
ok_locales ru en
score SUBJ_FULL_OF_8BITS 0.000
score HEADER_8BITS 0.000
score HTML_COMMENT_8BITS 0.000

Но, как я понял, возможности настройки на русскоязычную почту этим не исчерпываются.

Cсылки, тем или иным образом, связанные с темой:
http://forum.ru-board.com/topic.cgi?forum=8&topic=3371#1
http://forum.ru-board.com/topic.cgi?forum=8&topic=1170#1
http://forum.ru-board.com/topic.cgi?forum=8&topic=1261#1
http://portal.sysadmins.ru/board/viewtopic.php?p=67203&sid=2b17d0ea213fcdd4a90ab30d5b0939bd
http://www.opensourcedigest.org/issue2/spamassassin.html
http://opennet.ru/keywords/spam.html
http://wiki.forth.org.ru/AntiSpam

unknown

Цитата:

Для MDaemon как минимум надо внести в \MDaemon\SpamAssassin\rules\local.cf следующие строки:

Я честно сказать не понимаю великого смысла выставления параметров

Цитата:

score SUBJ_FULL_OF_8BITS 0.000
score HEADER_8BITS 0.000  
score HTML_COMMENT_8BITS 0.000

именно в 0 как средства борьбы с русскоязычным спамом...
Уменьшить их по сравнению с дефолтными - можно, но ставить совсем в 0... это не наш метод

Цитата:

Уменьшить их по сравнению с дефолтными - можно, но ставить совсем в 0... это не наш метод

IMHO, в любых русскоязычных письмах будут 8-ми битные символы. Поэтому, какой смысл начислять баллы ориентируясь на присутствие этих символов?

да, но... при этом значительно уменьшается процент отловленного русскоязычного спама.
Я не знаю конечно состав ваших респондентов и особенности переписки, но я не обнулял их, а просто немного уменьшил... а в остальном Whitelist-From и WhiteList-To мне здорово помогают

А можно убивать спам самим spamassassin-ом,
если да - то как !!!
а если нет то как здеалть штоб письма помеченые как спам уничтожались

У меня такой вопрос:
номалоно ли то што spamc не обробатовает письма больше где-то 300К.
Даже ели посто набрать:
cat <file> | spamc
то он просто видаст файл,
а если файл до 100-200К то работает !!!!!!!!!!!!!!!!!!!!

Вопрос.
Как заставить SpamAssassin самообучаться на спам? У меня настроено [more=в конфиге вот что:]

###########################################################################

trusted_networks 192.168/16 127/8 10.160/16 # all in 192.168.*.* and 127.*.*.*
trusted_networks 127. # all in 127.*.*.* localhost

# whitelist
whitelist_from *@МОЙ_СЕРВЕР.ru
whitelist_from localhost

# blacklist
#blacklist_from
#blacklist_to

rewrite_subject 1
subject_tag ***SPAM***
rewriteheader subject ***SPAM***

required_hits 5.0
bayes_auto_learn 1
bayes_auto_learn_spam 8.00
bayes_auto_learn_nonspam 0.10
use_bayes 1
auto_learn 1
skip_rbl_checks 0
use_razor2 0
use_dcc 0
use_pyzor 0
always_add_report 1
report_safe 0
use_terse_report 0

use_auto_whitelist 0
auto_whitelist_path /etc/mail/spamassassin/auto_whitelist
#bayes_path /etc/mail/spamassassin/bayes

ok_languages ru en
ok_locales ru en
report_charset windows-1251
lang ru

#score NAME_OF_TEST 3.0
score MIME_HTML_ONLY 2.0
#score HTML_MESSAGE 1.0
score HTML_FONTCOLOR_RED 1.5
score FROM_ILLEGAL_CHARS 1.5
score HEAD_ILLEGAL_CHARS 1.5
###########################################################################[/more]


А [more=в логах читаю примерно следующее:]
...
Jun 20 17:52:38 ns spamd[3437]: result: Y 11 - BAYES_50,FORGED_MUA_OUTLOOK,FORGED_OUTLOOK_HTML,FORGED_OUTLOOK_TAGS,HTML_80_90,HTML_FONT_BIG,HTML_IMAGE_ONLY_20,HTML_MESSAGE,HTML_TITLE_EMPTY,MIME_HTML_ONLY,SUBJ_ILLEGAL_CHARS,UNDISC_RECIPS scantime=0.2,size=13993,mid=<auto-000000737533@mail.1premier.ru>,bayes=0.532992674468971,autolearn=no
...
Jun 20 17:54:43 ns spamd[3434]: result: Y 12 - BAYES_99,FORGED_MUA_OUTLOOK,FORGED_OUTLOOK_HTML,FORGED_OUTLOOK_TAGS,HTML_30_40,HTML_FONT_BIG,HTML_FONT_LOW_CONTRAST,HTML_MESSAGE,HTML_SHOUTING3,MIME_HTML_ONLY,RCVD_NUMERIC_HELO scantime=0.3,size=5141,mid=(unknown),bayes=0.999999999999614,autolearn=no
...[/more]

Результат получается и 11 и 12, что явно больше 8, а обучаться на спам не хочет

Что не так?

Все, косяки с мылом всех уже достали и начальник скомандовал сносить нафиг spamassassin и clamav. Spamassassin не может разобраться, какие письма - спам, а какие - нужные (рассылки с деловыми предложениями), а от clamav временами сервер притормаживает и периодически вылазит ошибка типа:
rejecting connections on daemon MTA: load average: 18
что вообще блокирует прием почты. ( http://www.linux.ie/old-list/45338.html )

Такие вот дела

В последнем MDaemon'е стоит уже SpamAssassin версии 3.04, который уже автоматом работает со всеми языками (кроме, может быть, иероглифических). Неделя скармливания ему спама и Неспама дала замечательную картину - 96.5% спама фильтруется. Ни разу не был замечен на скидывании нужного письма в спам. Понятно, что спаммеры меняют подходы, но обучение идет чередой...

Хех мой Спамассассин обучался несколько недель.
В последнее время пропуск спама без маркировки стал более частым явлением...
У кого были такие внезапные падения эффективности? Где чего подрехтовать надо?

А как настроить Spamassassin в связке CommuniGate

spamassassin.org.ru

Есть возможность в проверку добавить такое условие:
если адрес отправителя не *.ru тогда добавить пару очков
?

у меня после 3-х месяцев работы отлавливается 99% спама, ошибочные определения были одно время, но давно пропали...
письма не удаляются, тэгится хидер, а пользователи сами разбираются (чего и вам советую). не знаю как, но после долгого самообучения (никакие коэфиценты не менялись, установлены только дополнительные плагины и "жестокий конфиг") русскоязычный спам ловится только так.

yuish
погугли на предмет CGPSA

Привет.

Подскажите, пожалуйста, такую весчь.
Юзаю СпамАссассин 3.1.8, определяю в конфигурационном файле add_header all Testing _TOKENSUMMARY_, _SPAMMYTOKENS_
Затем запускаю: spamassassin -t --configpath=/usr/local/etc/mail/local.cf <message> > /message.
Просматриваю письмо после теста: там где вставил _TOKENSUMMARY_ - пишет Bayes not run.
Там где _SPAMMYTOKENS_ - Tokens not available.

Памагите советом, как правильно юзать встроенный баес в СпамАссассине.

Цитата:

номалоно ли то што spamc не обробатовает письма больше где-то 300К.
Даже ели посто набрать:
cat <file> | spamc
то он просто видаст файл,
а если файл до 100-200К то работает !!!!!!!!!!!!!!!!!!!!

Вобщето это лечит очень легко если подправить исходники spamc, он по умолчанию не проверяет файлы больше 250К, если поискать эту цифру в исходниках и подправить, а потом пересобрать spamc , то все прекрасно проверяется.



Цитата:

А можно убивать спам самим spamassassin-ом,
если да - то как !!!

Вобщето правильно спамассасин на явно спамные письма отвечает smtp пытающемуся отправить тебе такое письмо обломом вида "550.Blocked by spamassassin."

Поставил sendmail + spamassassin
Почта ходит но не принимает письма присланные по gprs
Где копать?


Код:
Sep 19 10:22:04 ns1 sm-mta[1546]: l8J1LmcY001546: from=<pr@slata.ru>, size=3478,
class=0, nrcpts=1, msgid=<606298755.20070919102207@slata.ru>, proto=ESMTP, daem
on=MTA, relay=ra49.gprs.bwc.ru [81.18.116.49] (may be forged)

народ хелп. спамассассин привязал к эксиму, но он пропускает почти весь русскоязычный спам. в каком направлении копать?

staerok
1. Проверь включен ли байесовский фильтр

Код:
use_bayes 1
bayes_auto_learn 1

Мдя... Худшее зло после спамеров - это борцы со спамом. Читаю ветку и улыбаюсь. Накой все эти "атсосины" нужны, если вы письмо уже приняли? Резать надо на этапе smtp-разговоров, а не загружать сервера анализами дерьма всякого.

Sadok
Ну так... делись опытом !

Много времени прошло

В результате, что теперь имеем:
Стоит сервак на Ubuntu 8.04 с Postfix, Spamassassin, Spamass-milter, Clamav, Clamav-milter. Все стоит и все работает. Вот только почта не заворачивается от пользователей с пометкой о спаме на специальный выделенный для этого ящик, а валится народу с самыми разнообразными уровнями, и 10, и гораздо больше. Как сделать, чтобы заворачивалась?

/etc/default/spamass-milter:
OPTIONS="-u spamass-milter -i 127.0.0.1 -B spam-mail@MYDOMAIN"
SOCKET="/var/spool/postfix/spamass/spamass.sock"
SOCKETOWNER="postfix:postfix"
SOCKETMODE="0660"

/etc/spamassassin/local.cf:
rewrite_header subject *****SPAM=_SCORE_*****
report_safe 1
trusted_networks 127/8 И_ЛОКАЛЬНЫЕ_СЕТИ
required_score 8
bayes_auto_learn 1
auto_learn_threshold_nonspam -2
auto_learn_threshold_spam 25
whitelist_from (ЗДЕСЬ БОЛЬШОЙ СПИСОК "БЕЛЫХ" ОТПРАВИТЕЛЕЙ)
...
whitelist_from (ЗДЕСЬ БОЛЬШОЙ СПИСОК "БЕЛЫХ" ОТПРАВИТЕЛЕЙ)
ok_languages en ru
ok_locales en ru

Цитата:

Вот только почта не заворачивается от пользователей с пометкой о спаме на специальный выделенный для этого ящик, а валится народу с самыми разнообразными уровнями, и 10, и гораздо больше. Как сделать, чтобы заворачивалась?

Spamass-milter лично я не использовал, но вот здесь вроде есть ответ:
http://www.opennet.ru/base/net/tranz_spamassassin.txt.html

А так - можно использовать procmail, maildrop или dovecot-sieve - создать правило для редиректа по наличию заголовка "X-Spam-Flag: YES"

Если пользователи Unix, а не виртуальные - то проще всего использовать procmail, имхо

Еще такой вопрос - у меня spamassassin во всех директориях юзеров насоздавал поддиректорий .spamassassin со своими конфигами. Значит ли это что для каждого юзера будут применяться свои правила на основании своего собственного обучения и своих собственных настроек? Как сделать, чтобы настройки были глобальными?

Aleksanders


Цитата:

Значит ли это что для каждого юзера будут применяться свои правила на основании своего собственного обучения и своих собственных настроек?

Параметры из конфига в директории пользователя будут перекрывать глобальные


Цитата:

Как сделать, чтобы настройки были глобальными?

Запускать спамассассин от пользователя, например, mail, с домашней директорией /var/spool/mail

А sa-learn, если он запускается от другого пользователя - запускать с параметром --dbpath=/var/spool/mail/.spamassassin

А чтобы sa-learn влиял на глобальные настройки, его от какого имени запускать надо? От root? postfix?

Цитата:

А чтобы sa-learn влиял на глобальные настройки, его от какого имени запускать надо? От root? postfix?

sa-learn вообще не влияет на настройки, он анализирует указанные файлы и пишет результат в базу данных для байесовского фильтра. По умолчанию он пишет в базу в домашней папке пользователя от которого запущен, если нужно писать в глобальную - путь к ней можно указать с помощью параметра --dbpath (третий раз уже пишу)

Глобальные настройки надо писать руками в /etc/mail/spamassassin/local.cf

Понятно, спасибо!

Господа, имею Mdaemon 9.6.2 со Spamassassin'ом 3.1.8
Спамассасин русский спам не фильтрует хоть убей. Учил его несколько недель - англоязычный спам фильтрует хорошо, для русского спама оценка вероятности спама всегда 0-1%.
Подскажите пожалуйста, в каком направлении копать?

Ну, для начала посмотреть в заголовках спама - какие тесты срабатывают.

Англоязычный скорее всего фильтруется по rbl-тестам, а для русскоязычного они плохо срабатывают, надо фильnровать по байесовским.

Но по умолчанию score для байесовских тестов очень маленький, надо подбирать вручную более высокие значения и выставлять в конфиге (выше я приводил пример)

В общем, смотри в заголовках какие тесты срабатывают, а потом вот здесь смотри умолчальные значения score и если надо увеличивай -

http://spamassassin.apache.org/tests_3_1_x.html