Форум системных администраторов

IT => Unix => Тема начата: Fray от 08 февраля 2019, 16:35:41

Название: MIXED_ES Too many es are not es [Scrollout F1]
Отправлено: Fray от 08 февраля 2019, 16:35:41
Всем привет.
Есть спам-фильтр на scrollout f1 (на базе spamassasin и postfix). Он режет хорошие письма из-за того, что как-то криво конвертит тело письма, кидает ему сразу 3.3 балла и письмо уходит в карантин.
Где настроить или отключить эту проверку на букву Е?

Нагуглилось только это - https://stackoverflow.com/questions/54449930/mixed-es-too-many-es-are-not-es , но не помогает...
Название: MIXED_ES Too many es are not es [Scrollout F1]
Отправлено: Fray от 11 февраля 2019, 16:44:31
Походу нашел где это:

/var/lib/spamassassin/3.004001/updates_spamassassin_org/72_active.cf

##{ MIXED_ES if can(Mail::SpamAssassin::Conf::feature_bug6558_free) ifplugin Mail::SpamAssassin::Plugin::ReplaceTags

if can(Mail::SpamAssassin::Conf::feature_bug6558_free)
ifplugin Mail::SpamAssassin::Plugin::ReplaceTags
meta MIXED_ES ( ! HTML_IMAGE_ONLY_16 ) && ( __LOWER_E > 20 ) && ( __E_LIKE_LETTER > ( (__LOWER_E * 14 ) / 10) ) && ( __E_LIKE_LETTER < ( 10 * __LOWER_E ) )
describe MIXED_ES Too many es are not es
tflags MIXED_ES publish
endif
endif
##} MIXED_ES if can(Mail::SpamAssassin::Conf::feature_bug6558_free) ifplugin Mail::SpamAssassin::Plugin::ReplaceTags

Тут видимо можно совсем проверку убить.
Но я просто сделал на эту проверку 0.0 баллов в

/var/lib/spamassassin/3.004001/updates_spamassassin_org/72_scores.cf

Проверяю.
Название: MIXED_ES Too many es are not es [Scrollout F1]
Отправлено: crazzytosser от 18 февраля 2019, 11:59:47
После автообновления правил правка слетает. Письма снова  маркируются на 3,3 балла.
Название: MIXED_ES Too many es are not es [Scrollout F1]
Отправлено: Fray от 18 февраля 2019, 12:00:44
автообновления правил
Это что и когда происходит?
Название: MIXED_ES Too many es are not es [Scrollout F1]
Отправлено: crazzytosser от 18 февраля 2019, 12:17:52
у меня это происходит после
#!/bin/sh

# schaal @it
#
# Simple script to update SpamAssassin

SYSLOG_TAG=sa-update

compile=0

logger -d -t $SYSLOG_TAG "Start SA-Update"

sa-update --nogpg
retval="$?"
if [ $retval -eq 0 ]; then compile=1; fi


sa-update --nogpg --channel updates.spamassassin.org
retval="$?"
if [ $retval -eq 0 ]; then compile=1; fi

sa-update --nogpg --channel sa.zmi.at
retval="$?"
if [ $retval -eq 0 ]; then compile=1; fi

sa-update --nogpg --channel sa.schaal-it.net
retval="$?"
if [ $retval -eq 0 ]; then compile=1; fi

#sa-update --nogpg --channel sought.rules.yerp.org
#retval="$?"
#if [ $retval -eq 0 ]; then compile=1; fi

sa-update --nogpg --channel spamassassin.heinlein-support.de
retval="$?"
if [ $retval -eq 0 ]; then compile=1; fi

if [ $compile -eq 1 ]; then
        logger -d -t $SYSLOG_TAG "SA-Update found"
        sa-compile
        /etc/init.d/amavis restart
        systemctl restart pmg-smtp-filter
        systemctl restart spamassassin

else
        logger -d -t $SYSLOG_TAG "No SA-Update found"
fi
по крону раз в час


Updated: 18 February 2019, 12:21:06

Походу нашел где это:

/var/lib/spamassassin/3.004001/updates_spamassassin_org/72_active.cf

Тут видимо можно совсем проверку убить.
Но я просто сделал на эту проверку 0.0 баллов в

/var/lib/spamassassin/3.004001/updates_spamassassin_org/72_scores.cf

Проверяю.
Закомментил проверку - результат нулевой
Название: MIXED_ES Too many es are not es [Scrollout F1]
Отправлено: flaitsman от 18 февраля 2019, 13:28:34
Столкнулся с этой же проблемой на eFa.
В зарубежных интернетах нашел это:

To disable the test you can add somewhere at the top, in

/etc/mail/spamassassin/local.cf

meta __E_LIKE_LETTER  (0)
meta __LOWER_E  (0)
Название: MIXED_ES Too many es are not es [Scrollout F1]
Отправлено: crazzytosser от 18 февраля 2019, 13:40:45
Пробовал добавлять?
Что-то поменялось в скорах?
Название: MIXED_ES Too many es are not es [Scrollout F1]
Отправлено: crazzytosser от 18 февраля 2019, 13:51:42
Есть мысль накормить спамассассин мылом через autolearn. Спамассассин будет мониторить исходящее от юзверей мыло и автоматом пихать его в вайтлист. В этом случае механизм балого списка будет проставлять тег AWL и ставить скор  -100. Тобишь адресаты которым пишем мы - могут писать нам без проблем со стороны спамассассина.
Название: MIXED_ES Too many es are not es [Scrollout F1]
Отправлено: flaitsman от 18 февраля 2019, 13:52:30
Добавил. Правило отрубилось, в тестах его больше нет.

До:

Score   Matching Rule   Description
-0.33   AWL   Adjusted score from AWL reputation of From: address
-1.90   BAYES_00   Bayes spam probability is 0 to 1%
0.98   FROM_EXCESS_BASE64   From: base64 encoded unnecessarily
1.00   KAM_LAZY_DOMAIN_SECURITY   Sending domain does not have any anti-forgery methods
0.50   KAM_NUMSUBJECT   Subject ends in numbers excluding current years
0.00   LOTS_OF_MONEY   Huge... sums of money
3.28   MIXED_ES   Too many es are not es
1.51   SUBJ_ALL_CAPS   Subject is all capitals

После:

Score   Matching Rule   Description
-0.49   AWL   Adjusted score from AWL reputation of From: address
-1.90   BAYES_00   Bayes spam probability is 0 to 1%
0.98   FROM_EXCESS_BASE64   From: base64 encoded unnecessarily
0.00   HTML_MESSAGE   HTML included in message
0.50   KAM_NUMSUBJECT   Subject ends in numbers excluding current years
0.00   LOTS_OF_MONEY   Huge... sums of money
1.51   SUBJ_ALL_CAPS   Subject is all capitals
Название: MIXED_ES Too many es are not es [Scrollout F1]
Отправлено: crazzytosser от 18 февраля 2019, 14:03:34
сейчас попробую у себя, за одно добавлю автовайтлист для своего домена, посмотрим как скоры писаться будут

/etc/mail/spamassassin/local.cf
txrep_whitelist_out 10
цифра в конце - добавляемые очки для вайтлиста (от 0 до 200)
Название: MIXED_ES Too many es are not es [Scrollout F1]
Отправлено: Fray от 18 февраля 2019, 14:05:12
Добавил. Правило отрубилось, в тестах его больше нет.
Я добавлял, но мне вроде бы не помогло. Может накосячил конечно :)
Название: MIXED_ES Too many es are not es [Scrollout F1]
Отправлено: crazzytosser от 18 февраля 2019, 14:17:24
Добавил. Правило отрубилось, в тестах его больше нет.
Я добавлял, но мне вроде бы не помогло. Может накосячил конечно :)
Куда именно?
У меня два конфига
/etc/mail/spamassassin/local.cf
и
/var/lib/spamassassin/3.004002/updates_spamassassin_org/local.cf
и жрет он судя по всему - оба
Название: MIXED_ES Too many es are not es [Scrollout F1]
Отправлено: Fray от 18 февраля 2019, 14:23:16
Я сюда добавлял - /etc/mail/spamassassin/local.cf

Кстати, после этого

/etc/mail/spamassassin/local.cf
txrep_whitelist_out 10

Он как-то странно работать начинает, в карантин перестают письма падать... Ну или я мало жду.
Название: MIXED_ES Too many es are not es [Scrollout F1]
Отправлено: crazzytosser от 18 февраля 2019, 14:46:57
Я сюда добавлял - /etc/mail/spamassassin/local.cf

Кстати, после этого

/etc/mail/spamassassin/local.cf
txrep_whitelist_out 10

Он как-то странно работать начинает, в карантин перестают письма падать... Ну или я мало жду.
в ассассине должен быть настроен параметр internal_networks (указываем внутренние сети для обработки исходящей почты) и вся почта домена должна отправляться через SMTP прибитого к спамассасину, тогда вайтлистинг будет нормально отрабатывать
в конфиг добавить
internal_networks 192.168/16 127/8           # all in 192.168.*.* and 127.*.*.*
internal_networks 1.2.3.4                             # IP мылохоста
internal_networks 127.                                 # all in 127.*.*.*
со своими значениями
Название: MIXED_ES Too many es are not es [Scrollout F1]
Отправлено: crazzytosser от 18 февраля 2019, 15:09:21
Ну вот сейчас меты заработали, больше ключ MIXED_ES не появляется.
Кстати, с правилами от schaal-it.net - аккурантее. Очень они mail.ru не любят.
Название: MIXED_ES Too many es are not es [Scrollout F1]
Отправлено: Fray от 20 февраля 2019, 16:58:29
После автообновления правил правка слетает.
Блин, слетела правка, на самом деле... Как бы сделать так, чтобы не слетала? ???
Название: MIXED_ES Too many es are not es [Scrollout F1]
Отправлено: Fray от 21 февраля 2019, 09:46:09
А может на этот файл права у всего отобрать на изменение? Поможет ли?
Название: MIXED_ES Too many es are not es [Scrollout F1]
Отправлено: Fray от 25 февраля 2019, 13:58:25
А может на этот файл права у всего отобрать на изменение? Поможет ли?
Не помогло :(

А вот идея появилась - по расписанию, раз в день менять содержимое файлы и рестартить спамассасин.
Только вот я не знаю, как это сделать в CentOS :)
Название: MIXED_ES Too many es are not es [Scrollout F1]
Отправлено: Fray от 27 февраля 2019, 11:28:57
Короче говоря, запихал в cron скрипт на ежедневное изменение этого файла :)

######################################
my_file = open("/var/lib/spamassassin/3.004001/updates_spamassassin_org/72_scores.cf")
my_string = my_file.read()
s = my_string.split(' ')
w=0
z=0
for val in s:
    z=z+1
    if val == "MIXED_ES":
        w=1
    if w==1 and len(val) > 1 and val[1] == '.':
        s[z-1] = "0.000"
        s[z] = "0.000"
        s[z+1] = "0.000"
        s[z+2] = "0.000"
        w=0

st = ' '.join(s)
my_file.close()
########################################
my_file = open("/var/lib/spamassassin/3.004001/updates_spamassassin_org/72_scores.cf", 'w')
my_file.write(st)
my_file.close()