Problemen SpamAssassin

[Richard Rasker]

Hallo,

Ik heb een probleempje met mijn mailserver (Postfix, SpamAssassin):
sinds een paar dagen wordt e-mail van een van mijn kennissen door de
mailserver geweigerd als spam. De complete transactie (adressen veranderd
in '[afzender]' respectievelijk '[ontvanger]'):

Mar 7 08:43:55 hedgehog postfix/qmgr[2453]: 3C63A56C3E8: from=<[afzender]@wxs.nl>, size=2636, nrcpt=1 (queue active)
Mar 7 08:43:55 hedgehog amavis[3355]: (03355-10) ESMTP::10024 /var/lib/amavis/tmp/amavis-20100306T180252-03355: <[afzender]@wxs.nl> -> <[ontvanger]@linetec.nl> SIZE=2636 Received: from hedgehog.linetec.nl ([127.0.0.1]) by localhost (hedgehog.linetec.nl [127.0.0.1]) (amavisd-new, port 10024) with ESMTP for <[ontvanger]@linetec.nl>; Sun, 7 Mar 2010 08:43:55 +0100 (CET)
Mar 7 08:43:55 hedgehog amavis[3355]: (03355-10) Checking: 8v2SILQ5yyCT <[afzender]@wxs.nl> -> <[ontvanger]@linetec.nl>
Mar 7 08:44:01 hedgehog amavis[3355]: (03355-10) skip local delivery(3): <[afzender]@wxs.nl> -> <spam-quarantine>
Mar 7 08:44:01 hedgehog amavis[3355]: (03355-10) SPAM, <[afzender]@wxs.nl> -> <[ontvanger]@linetec.nl>, Yes, score=7.302 tag=2 tag2=6.31 kill=6.31 tests=[AWL=-0.282, FH_DATE_PAST_20XX=3.384, FORGED_MUA_OUTLOOK=4.199, STOX_REPLY_TYPE=0.001], autolearn=no, quarantine 8v2SILQ5yyCT (spam-quarantine)
Mar 7 08:44:01 hedgehog amavis[3355]: (03355-10) Blocked SPAM, [84.80.89.154] <[afzender]@wxs.nl> -> <[ontvanger]@linetec.nl>, Message-ID: <***@pcmonique>, mail_id: 8v2SILQ5yyCT, Hits: 7.302, 6013 ms
Mar 7 08:44:02 hedgehog postfix/smtp[6545]: 7F38056C3EF: to=<[afzender]@wxs.nl>, relay=mailin.planet.nl[213.75.3.30]:25, delay=0.55, delays=0.09/0.05/0.1/0.31, dsn=2.6.0, status=sent (250 2.6.0 <***@hedgehog.linetec.nl> Queued mail for delivery)

SA lijkt problemen te hebben met zowel de maliclient als de datum:
FH_DATE_PAST_20XX=3.384, FORGED_MUA_OUTLOOK=4.199

Het vreemde is dat mail van dezelfde afzender tot drie dagen geleden
zonder problemen is ontvangen, en dat geen enkele andere legitieme
afzender wordt geweigerd. Toch beweert de afzender dat er in de
afgelopen dagen niets is veranderd aan de computer, en dat er ook
geen sprake is van virusbesmetting. Beide criteria zijn in het verleden
wel eens als vals positief herkend door SA, maar dat lijkt nu niet aan de
orde -- geen van de andere legitieme berichten geeft problemen.

De berichten worden helaas meteen verwijderd, dus ik kan ze ook niet alsnog
bekijken om te zien wat ermee aan de hand zou kunnen zijn. Volgens de website
van SA zou ik dan weer extra software moeten installeren die de berichten
daadwerkelijk ergens in quarantaine zet.


Het tweede probleem aan mijn kant is dat het me niet lijkt te lukken
om het mailadres te whitelisten; ik heb in /usr/share/spamassassin/60_whitelist.cf
de volgende regel toegevoegd:

def_whitelist_from_rcvd [afzender]@wxs.nl wxs.nl

maar dit wordt niet gehonoreerd. Ook het aanpassen van de filterregels in
/usr/share/spamassassin/50_scores.cf haalt niets uit:

score FH_DATE_PAST_20XX 0.0
...
score FORGED_MUA_OUTLOOK 0.0

En ja, ik heb spamassassin na iedere wijziging opnieuw gestart.
Weet iemand wat ik verkeerd doe?


Dan nog een gerelateerde derde vraag: is ergens een site waarmee je mailfilters
kunt testen? Dus iets dat op verzoek e-mail met vaste, liefst selecteerbare
spamkenmerken toezendt?

Alvast mijn dank.

Richard Rasker

[richard lucassen]

On Sun, 07 Mar 2010 11:53:58 +0100

Post by Richard Rasker
Het tweede probleem aan mijn kant is dat het me niet lijkt te lukken
om het mailadres te whitelisten; ik heb
in /usr/share/spamassassin/60_whitelist.cf de volgende regel
maar dit wordt niet gehonoreerd. Ook het aanpassen van de
score FH_DATE_PAST_20XX 0.0
...
score FORGED_MUA_OUTLOOK 0.0
En ja, ik heb spamassassin na iedere wijziging opnieuw gestart.
Weet iemand wat ik verkeerd doe?

/etc/init.d/amavis restart

misschien?

Post by Richard Rasker
Dan nog een gerelateerde derde vraag: is ergens een site waarmee je
mailfilters kunt testen? Dus iets dat op verzoek e-mail met vaste,
liefst selecteerbare spamkenmerken toezendt?

Geen idee, ik heb wel een spam signature waarmee je sa kunt tetsen:

XJS*C4JDBQADN1.NSBN3*2IDNEN*GTUBE-STANDARD-ANTI-UBE-TEST-EMAIL*C.34X
--
___________________________________________________________________
It is better to remain silent and be thought a fool, than to speak
aloud and remove all doubt.

+------------------------------------------------------------------+
| Richard Lucassen, Utrecht |
| Public key and email address: |
| http://www.lucassen.org/mail-pubkey.html |
+------------------------------------------------------------------+

[Richard Rasker]

Post by richard lucassen
On Sun, 07 Mar 2010 11:53:58 +0100

Post by Richard Rasker
Het tweede probleem aan mijn kant is dat het me niet lijkt te lukken
om het mailadres te whitelisten; ik heb
in /usr/share/spamassassin/60_whitelist.cf de volgende regel
maar dit wordt niet gehonoreerd. Ook het aanpassen van de
score FH_DATE_PAST_20XX 0.0
...
score FORGED_MUA_OUTLOOK 0.0
En ja, ik heb spamassassin na iedere wijziging opnieuw gestart.
Weet iemand wat ik verkeerd doe?

/etc/init.d/amavis restart
misschien?

Ja, dat lijkt het te doen -- tenminste: deels. Aangepaste regels in
50_scores.cf worden nu wel gehonoreerd, maar whitelisting in
60_whitelist.cf lijkt nog niet te doen wat ik zou verwachten. Als ik mezelf
aan de whitelist toevoeg, wordt een bericht met jouw UBE-signature nog
steeds als spam geweigerd. Of is whitelisting niet absoluut, en wordt alles
met een score van 1000 (voor UBE) geweigerd?

Post by richard lucassen

Post by Richard Rasker
Dan nog een gerelateerde derde vraag: is ergens een site waarmee je
mailfilters kunt testen? Dus iets dat op verzoek e-mail met vaste,
liefst selecteerbare spamkenmerken toezendt?

XJS*C4JDBQADN1.NSBN3*2IDNEN*GTUBE-STANDARD-ANTI-UBE-TEST-EMAIL*C.34X

Dit gaat meteen in het mapje 'mailserver' voor toekomstig gebruik.

In ieder geval alweer mijn dank :-)

Richard Rasker

[Joost de Heer]

Post by Richard Rasker

Post by richard lucassen
On Sun, 07 Mar 2010 11:53:58 +0100

Post by Richard Rasker
Het tweede probleem aan mijn kant is dat het me niet lijkt te lukken
om het mailadres te whitelisten; ik heb
in /usr/share/spamassassin/60_whitelist.cf de volgende regel
maar dit wordt niet gehonoreerd. Ook het aanpassen van de
score FH_DATE_PAST_20XX 0.0
...
score FORGED_MUA_OUTLOOK 0.0
En ja, ik heb spamassassin na iedere wijziging opnieuw gestart.
Weet iemand wat ik verkeerd doe?

/etc/init.d/amavis restart
misschien?

Ja, dat lijkt het te doen -- tenminste: deels. Aangepaste regels in
50_scores.cf worden nu wel gehonoreerd, maar whitelisting in
60_whitelist.cf lijkt nog niet te doen wat ik zou verwachten. Als ik mezelf
aan de whitelist toevoeg, wordt een bericht met jouw UBE-signature nog
steeds als spam geweigerd. Of is whitelisting niet absoluut, en wordt alles
met een score van 1000 (voor UBE) geweigerd?

http://wiki.apache.org/spamassassin/ManualWhitelist
Adding a user to your whitelist gives them a -100 score, which has the
effect of always marking their mail as non-spam.

Aangezien de GTUBE een score van 1000 heeft, resulteert dat nog steeds
in een score van 900.

De wiki geeft overigens nog een andere mogelijkheid om te testen:
spamassassin -D <
/usr/share/spamassassin/doc/spamassassin-3.0.3/sample-spam.txt (je zult
zelf even moeten kijken of sample-spam.txt wel aanwezig is op je machine).

Joost

[Richard Rasker]

Post by Joost de Heer

Post by Richard Rasker

Post by richard lucassen
On Sun, 07 Mar 2010 11:53:58 +0100

Post by Richard Rasker
Het tweede probleem aan mijn kant is dat het me niet lijkt te lukken
om het mailadres te whitelisten; ik heb
in /usr/share/spamassassin/60_whitelist.cf de volgende regel
maar dit wordt niet gehonoreerd. Ook het aanpassen van de
score FH_DATE_PAST_20XX 0.0
...
score FORGED_MUA_OUTLOOK 0.0
En ja, ik heb spamassassin na iedere wijziging opnieuw gestart.
Weet iemand wat ik verkeerd doe?

/etc/init.d/amavis restart
misschien?

Ja, dat lijkt het te doen -- tenminste: deels. Aangepaste regels in
50_scores.cf worden nu wel gehonoreerd, maar whitelisting in
60_whitelist.cf lijkt nog niet te doen wat ik zou verwachten. Als ik
mezelf aan de whitelist toevoeg, wordt een bericht met jouw UBE-signature
nog steeds als spam geweigerd. Of is whitelisting niet absoluut, en wordt
alles met een score van 1000 (voor UBE) geweigerd?

http://wiki.apache.org/spamassassin/ManualWhitelist
Adding a user to your whitelist gives them a -100 score, which has the
effect of always marking their mail as non-spam.
Aangezien de GTUBE een score van 1000 heeft, resulteert dat nog steeds
in een score van 900.
spamassassin -D <
/usr/share/spamassassin/doc/spamassassin-3.0.3/sample-spam.txt (je zult
zelf even moeten kijken of sample-spam.txt wel aanwezig is op je machine).

OK, dat is duidelijk, en het lijkt er inmiddels op dat ik de boel onder
controle heb (en -- nog belangrijker -- ook begrijp).

Mijn dank!

Richard Rasker

[Richard Rasker]

Post by richard lucassen
On Sun, 07 Mar 2010 11:53:58 +0100

Post by Richard Rasker
Het tweede probleem aan mijn kant is dat het me niet lijkt te lukken
om het mailadres te whitelisten; ik heb
in /usr/share/spamassassin/60_whitelist.cf de volgende regel
maar dit wordt niet gehonoreerd. Ook het aanpassen van de
score FH_DATE_PAST_20XX
...
score FORGED_MUA_OUTLOOK

En ik heb inmiddels ook een bericht ontvangen van de oorspronkelijke
afzender, maar ik kan aan de headers is niets vreemds zien; er is niks mis
met de datum en tijd, en de OE-versie lijkt ook niet raar:

Return-Path: <[afzender]@wxs.nl>
X-Original-To: [ontvanger]@linetec.nl
Delivered-To: [ontvanger]@linetec.nl
Received: from localhost (localhost [127.0.0.1]) by hedgehog.linetec.nl
(Postfix) with ESMTP id 2170356C3EC for <[ontvanger]@linetec.nl>;
Sun, 7 Mar
2010 15:29:54 +0100 (CET)
Received: from hedgehog.linetec.nl ([127.0.0.1]) by localhost
(hedgehog.linetec.nl [127.0.0.1]) (amavisd-new, port 10024) with
ESMTP id
pTs7lt0rcRUt for <[ontvanger]@linetec.nl>; Sun, 7 Mar 2010 15:29:46
+0100 (CET)
Received: from CPSMTPM-EML105.kpnxchange.com (cpsmtpm-eml105.kpnxchange.com
[195.121.3.9]) by hedgehog.linetec.nl (Postfix) with ESMTP id
CFE7D56C3E8
for <[ontvanger]@linetec.nl>; Sun, 7 Mar 2010 15:29:46 +0100 (CET)
Received: from pcmonique ([84.80.89.154]) by CPSMTPM-EML105.kpnxchange.com
with Microsoft SMTPSVC(7.0.6001.18000); Sun, 7 Mar 2010 15:29:46
+0100
Message-ID: <***@pcmonique>
From: "[Afzender]" <[afzender]@wxs.nl>
To: <[ontvanger]@linetec.nl>
References: <***@localhost>
Subject: Re: Wederom mail
Date: Sun, 7 Mar 2010 15:30:10 +0100
MIME-Version: 1.0
Content-Type: text/plain; format=flowed; charset="iso-8859-1";
reply-type=original
Content-Transfer-Encoding: 7bit
X-Priority: 3
X-MSMail-Priority: Normal
X-Mailer: Microsoft Outlook Express 6.00.2900.5843
X-MimeOLE: Produced By Microsoft MimeOLE V6.00.2900.5579
X-OriginalArrivalTime: 07 Mar 2010 14:29:46.0407 (UTC)
FILETIME=[A2CD8370:01CABE02]
X-Evolution-Source: imap://[ontvanger]@fw/


De inhoud lijkt verder ook niet op spam. Heeft iemand een idee waarom het
bovenstaande een hoge spam-score oplevert?

Richard Rasker

[Joost de Heer]

Post by Richard Rasker
De inhoud lijkt verder ook niet op spam. Heeft iemand een idee waarom het
bovenstaande een hoge spam-score oplevert?

De makers van spamassassin wellicht? Ik neem aan dat er een mogelijkheid
is om false-positives te melden.

Joost

[richard lucassen]

On Sun, 07 Mar 2010 12:57:39 +0100

Post by Richard Rasker

Post by richard lucassen
/etc/init.d/amavis restart
misschien?

Ja, dat lijkt het te doen -- tenminste: deels. Aangepaste regels in
50_scores.cf worden nu wel gehonoreerd, maar whitelisting in
60_whitelist.cf lijkt nog niet te doen wat ik zou verwachten. Als ik
mezelf aan de whitelist toevoeg, wordt een bericht met jouw
UBE-signature nog steeds als spam geweigerd. Of is whitelisting niet
absoluut, en wordt alles met een score van 1000 (voor UBE) geweigerd?

Ik heb alleen maar dit IIRC:

cat /etc/spamassassin/99-whitelist_spamassassin.cf
whitelist_from *@domain.tld
--
___________________________________________________________________
It is better to remain silent and be thought a fool, than to speak
aloud and remove all doubt.

+------------------------------------------------------------------+
| Richard Lucassen, Utrecht |
| Public key and email address: |
| http://www.lucassen.org/mail-pubkey.html |
+------------------------------------------------------------------+

[Bas Janssen]

<snip>

Post by Richard Rasker
FH_DATE_PAST_20XX=3.384, FORGED_MUA_OUTLOOK=4.199

<snip>

Voor FH_DATE_PAST_20XX was er trouwens een bug die vanaf 1/1/2010 *alle*
mail teveel score gaf. ;-)

https://issues.apache.org/SpamAssassin/show_bug.cgi?id=6269

En ook voor FORGED_MUA_OUTLOOK zijn/waren er wat bekende bugs:

https://issues.apache.org/SpamAssassin/buglist.cgi?quicksearch=FORGED_MUA_OUTLOOK
http://wiki.apache.org/spamassassin/FORGED_MUA_OUTLOOK