Spamassassin false positives

Hallo,

System: FreeBSD 5.2.1-RELEASE-p8
Software: p5-Mail-SpamAssassin-2.63_2

Problem: false positives aufgrund Blacklists

Beschreibung: spamassassin haut mir regelmäßig Mails, die via Webmail versandt bei mir eintrudeln, als Spam um die Ohren. Offensichtlich checkt der den ursprünglichen Sender, und nicht die Relays - deutlich wird das an dem folgenden Beispiel (Hervorhebungen von mir, das „-NOSPAM-“ hab ich nachträglich hier in die eMail-Adressen eingefügt. Ansonsten Original-Header.), die local.cf hängt ebenfalls unten an.

Falls da jemand von euch ne Idee hat - immer raus damit…

Gruß,

Malte.

Return-Path: 
Received: from alliednetworks.de ([unix socket]) by alliednetworks.de
 (Cyrus v2.2.6) with LMTPA; Mon, 15 Nov 2004 14:33:13 +0100
X-Sieve: CMU Sieve 2.2
Received: from fmmailgate05.web.de (fmmailgate05.web.de [217.72.192.243])
 by alliednetworks.de (8.12.11/8.12.11) with ESMTP id iAFDWxMY023742 for
 ; Mon, 15 Nov 2004 14:32:59 +0100
 (CET) (envelope-from [email protected])
Received: by fmmailgate05.web.de (8.12.10/8.12.10/webde Linux 0.7) with
 SMTP id iAFDWE7c001743 for [email protected]; Mon, 15 Nov
 2004 14:33:10 +0100
Date: Mon, 15 Nov 2004 14:33:10 +0100
Message-Id: 
Received: from [194.221.201.41] by freemailng9998.web.de with HTTP; Mon, 15
 Nov 2004 14:33:08 +0100
MIME-Version: 1.0
From: "Sandra" 
To: "Malte" 
Subject: Possible spam alert:
 =?iso-8859-1?Q?Sie=20haben=20eine=20Gru=DFkarte=20erhalten.?=
Precedence: fm-user
Organization: http://freemail.web.de/
Content-Type: multipart/mixed; boundary="----------=\_4198B018.EA14A7AA"
Content-Transfer-Encoding: quoted-printable
X-Spam-Flag: YES
X-Spam-Status: Yes, hits=5.1 required=4.0 tests=HTML\_IMAGE\_ONLY\_06,
 HTML\_IMAGE\_RATIO\_06,HTML\_MESSAGE,MIME\_HTML\_ONLY,MSGID\_FROM\_MTA\_HEADER,
 RCVD\_IN\_BL\_SPAMCOP\_NET autolearn=no version=2.63
X-Spam-Level: \*\*\*\*\*
X-Spam-Checker-Version: SpamAssassin 2.63 (2004-01-11) on alliednetworks.de
X-Virus-Scanned: clamd / ClamAV version devel-20040624, clamav-milter
 version 0.72a on alliednetworks.de
X-Virus-Status: Clean
X-Evolution-Source: imap://[email protected]/

This is a multi-part message in MIME format.

------------=\_4198B018.EA14A7AA
Content-Type: text/plain
Content-Disposition: inline
Content-Transfer-Encoding: 8bit

Spam detection software, running on the system "alliednetworks.de", has
identified this incoming email as possible spam. The original message
has been attached to this so you can view it (if it isn't spam) or block
similar future email. If you have any questions, see
the administrator of that system for details.

Content preview: WEB.DE Gru?karten
 URI:https://img.web.de/v/mail/iestyle.css
 URI:https://img.web.de/v/p.gif WEB.DE
 URI:https://img.web.de/v/grusskarten/mail/behu\_GKM\_logo65x65.gif
 URI:https://img.web.de/v/p.gif
 URI:https://img.web.de/v/grusskarten/mail/behu\_GKM\_karten.jpg
 URI:https://img.web.de/v/p.gif [...] 

Content analysis details: (5.1 points, 4.0 required)

 pts rule name description
---- ---------------------- --------------------------------------------------
 0.3 HTML\_IMAGE\_RATIO\_06 BODY: HTML has a low ratio of text to image area
 0.1 MIME\_HTML\_ONLY BODY: Message only has text/html MIME parts
 0.0 HTML\_MESSAGE BODY: HTML included in message
 1.7 HTML\_IMAGE\_ONLY\_06 BODY: HTML: images with 400-600 bytes of words
 **2.2 RCVD\_IN\_BL\_SPAMCOP\_NET RBL: Received via a relay in bl.spamcop.net  
 [Blocked - see 194.221.201.41\>]**  
 0.8 MSGID\_FROM\_MTA\_HEADER Message-Id was added by a relay

The original message was not completely plain text, and may be unsafe to
open with some email clients; in particular, it may contain a virus,
or confirm that your address can receive spam. If you wish to view
it, it may be safer to save it to a file and open it with an editor.


------------=\_4198B018.EA14A7AA
Content-Type: text/plain; x-spam-type=original
Content-Description: original message before SpamAssassin
Content-Disposition: attachment
Content-Transfer-Encoding: 8bit

X-Envelope-From: 
X-Envelope-To: 
Received: from fmmailgate05.web.de (fmmailgate05.web.de [217.72.192.243]) by alliednetworks.de; 
Received: by fmmailgate05.web.de (8.12.10/8.12.10/webde Linux 0.7) with SMTP id iAFDWE7c001743
 for [email protected]; Mon, 15 Nov 2004 14:33:10 +0100
Date: Mon, 15 Nov 2004 14:33:10 +0100
Message-Id: 
Received: from [**<u>194.221.201.41</u>**] by freemailng9998.web.de with HTTP; Mon, 15 Nov 2004 14:33:08 +0100
MIME-Version: 1.0
From: "Sandra" 
To: "Malte" 
Subject: =?iso-8859-1?Q?Sie=20haben=20eine=20Gru=DFkarte=20erhalten.?=
Precedence: fm-user
Organization: http://freemail.web.de/
Content-Type: text/html; charset="iso-8859-1"
Content-Transfer-Encoding: quoted-printable







# This is the right place to customize your installation of SpamAssassin.
#
# See 'perldoc Mail::SpamAssassin::Conf' for details of what can be
# tweaked.
#
###########################################################################
#
# rewrite\_subject 0
# report\_safe 1
# trusted\_networks 212.17.35.
# SpamAssassin config file for version 2.5x
# generated by http://www.yrex.com/spam/spamconfig.php (version 1.01)

# How many hits before a message is considered spam.
required\_hits 4.0

# Whether to change the subject of suspected spam
rewrite\_subject 1

# Text to prepend to subject if rewrite\_subject is used
subject\_tag [SPAM]

# Encapsulate spam in an attachment
report\_safe 0

# Use terse version of the spam report
use\_terse\_report 0

# Enable the Bayes system
use\_bayes 1

# Enable Bayes auto-learning
auto\_learn 1

# Enable or disable network checks
skip\_rbl\_checks 0
use\_razor2 1
use\_dcc 0
use\_pyzor 0

# Mail using languages used in these country codes will not be marked
# as being possibly spam in a foreign language.
ok\_languages all

# Mail using locales used in these country codes will not be marked
# as being possibly spam in a foreign language.
ok\_locales all

Hallo Malte,

ich verstehe nicht, warum du das Problem beim Spamassassin suchst. Der macht doch nichts anderes, als was er soll. Offenbar haben eine Reihe von Leuten den Grusskartendienst von web.de als Quelle von Spam an Spamcop gemeldet.

Du solltest dich also an web.de wenden, damit die den Missbrauch ihres Grusskartendienstes einstellen. Oder du erstellst einen trusted_networks-Eintrag für die betroffene Adresse/Subnetz in der local.cf (was bei web.de natürlich ein gewisses Risiko darstellt):

_trusted_networks ip.add.re.ss[/mask] … (default: none)

What networks or hosts are ‚trusted‘ in your setup. Trusted in this case means that relay hosts on these networks are considered to not be potentially operated by spammers, open relays, or open proxies. DNS blacklist checks will never query for hosts on these networks.[…]_

Gruss
Schorsch

Hi,

ich verstehe nicht, warum du das Problem beim Spamassassin
suchst. Der macht doch nichts anderes, als was er soll.
Offenbar haben eine Reihe von Leuten den Grusskartendienst von
web.de als Quelle von Spam an Spamcop gemeldet.

Ich suche das Problem dort, weil das nicht der einzige Fall ist. (Außerdem hatte ich in dem Beispiel eben vergessen, die Ursprungs-IP zu checken - mein Fehler) Ein anderes Beispiel ist unten angehängt. Dort wird der „direkte Versand von dynamischer IP“ mokiert, obwohl die Mail ganz „normal“ über den web.de-smtp-Server verschickt wurde.

2.5 RCVD_IN_DYNABLOCK RBL: Sent directly from dynamic IP address
[217.247.135.15 listed in dnsbl.sorbs.net]

=> Das ist nicht der Fall!

Ich versteh’s noch nicht…

Danke schonmal & Gruß,

Malte.

Return-Path: 
Received: from alliednetworks.de ([unix socket]) by alliednetworks.de
 (Cyrus v2.2.6) with LMTPA; Mon, 15 Nov 2004 00:21:33 +0100
X-Sieve: CMU Sieve 2.2
Received: from smtp07.web.de (smtp07.web.de [217.72.192.225]) by
 alliednetworks.de (8.12.11/8.12.11) with ESMTP id iAENLKew017883 for
 ; Mon, 15 Nov 2004 00:21:20 +0100 (CET)
 (envelope-from [email protected])
**Received: from [217.247.135.15] (helo=pD9F7870F.dip.t-dialin.net) by  
 smtp07.web.de with esmtp (WEB.DE 4.102 #165) id 1CTTgA-0003Qe-00 for  
 [email protected]; Mon, 15 Nov 2004 00:21:06 +0100**  
Date: Mon, 15 Nov 2004 00:22:05 +0100
From: 
X-Mailer: The Bat!
Reply-To: 
X-Priority: 3 (Normal)
Message-ID: 
To: Malte 
Subject: Possible spam alert: =?ISO-8859-15?B?UmU6IPZs?=
In-Reply-To: 
References: 
MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="----------=\_4197E87B.0AD6004D"
Sender: [email protected]
X-Sender: [email protected]
X-Spam-Flag: YES
X-Spam-Status: Yes, hits=4.6 required=4.0 tests=FROM\_ENDS\_IN\_NUMS,
 MAILTO\_TO\_SPAM\_ADDR,RCVD\_IN\_DYNABLOCK,RCVD\_IN\_SORBS autolearn=no 
 version=2.63
X-Spam-Level: \*\*\*\*
X-Spam-Checker-Version: SpamAssassin 2.63 (2004-01-11) on alliednetworks.de
X-Virus-Scanned: clamd / ClamAV version devel-20040624, clamav-milter
 version 0.72a on alliednetworks.de
X-Virus-Status: Clean


This is a multi-part message in MIME format.

------------=\_4197E87B.0AD6004D
Content-Type: text/plain
Content-Disposition: inline
Content-Transfer-Encoding: 8bit

Spam detection software, running on the system "alliednetworks.de", has
identified this incoming email as possible spam. The original message
has been attached to this so you can view it (if it isn't spam) or block
similar future email. If you have any questions, see
the administrator of that system for details.

Content preview: ich will andere Freunde - Volker mit der \*Neuen.... --
 Mit freundlichen Gr??en mailto:[email protected]
 [skipped image/jpeg attachment] [...] 

Content analysis details: (4.6 points, 4.0 required)

 pts rule name description
---- ---------------------- --------------------------------------------------
 0.9 FROM\_ENDS\_IN\_NUMS From: ends in numbers
 1.1 MAILTO\_TO\_SPAM\_ADDR URI: Includes a link to a likely spammer email
 0.1 RCVD\_IN\_SORBS RBL: SORBS: sender is listed in SORBS
 [217.247.135.15 listed in dnsbl.sorbs.net]
 **2.5 RCVD\_IN\_DYNABLOCK RBL: Sent directly from dynamic IP address  
 [217.247.135.15 listed in dnsbl.sorbs.net]**  

The original message was not completely plain text, and may be unsafe to
open with some email clients; in particular, it may contain a virus,
or confirm that your address can receive spam. If you wish to view
it, it may be safer to save it to a file and open it with an editor.


------------=\_4197E87B.0AD6004D
Content-Type: text/plain; x-spam-type=original
Content-Description: original message before SpamAssassin
Content-Disposition: attachment
Content-Transfer-Encoding: 8bit

X-Envelope-From: 
X-Envelope-To: 
Received: from smtp07.web.de (smtp07.web.de [217.72.192.225]) by alliednetworks.de; 
Received: from [217.247.135.15] (helo=pD9F7870F.dip.t-dialin.net)
 by smtp07.web.de with esmtp (WEB.DE 4.102 #165)
 id 1CTTgA-0003Qe-00
 for [email protected]; Mon, 15 Nov 2004 00:21:06 +0100
Date: Mon, 15 Nov 2004 00:22:05 +0100
From: 
X-Mailer: The Bat!
Reply-To: 
X-Priority: 3 (Normal)
Message-ID: 
To: Malte 
Subject: =?ISO-8859-15?B?UmU6IPZs?=
In-Reply-To: 
References: 
MIME-Version: 1.0
Content-Type: multipart/mixed;
 boundary="----------1BD1C6118B7133"
Sender: [email protected]
X-Sender: [email protected]

2.5 RCVD_IN_DYNABLOCK RBL: Sent directly from dynamic IP
address [217.247.135.15 listed in dnsbl.sorbs.net]

=> Das ist nicht der Fall!

Was ist nicht der Fall? Meinst du, dass die Adresse in dnsbl.sorbs.net nicht gelistet sei?

admin@schorsch:~$ ping 15.135.247.217.dnsbl.sorbs.net -c 1
PING 15.135.247.217.dnsbl.sorbs.net (127.0.0.10): 56 data bytes
64 bytes from 127.0.0.10: icmp\_seq=0 ttl=255 time=0.0 ms

--- 15.135.247.217.dnsbl.sorbs.net ping statistics ---
1 packets transmitted, 1 packets received, 0% packet loss
round-trip min/avg/max = 0.0/0.0/0.0 ms

Meines Wissens steht eine Antwort mit 127.0.0.x und x > 1 immer für eine gelistete Adresse (hab mich mit der Theorie der Blacklists schon länger nicht mehr beschäftigt). SA müsste also, was ich für kaum realisierbar halte, der gelisteten Adresse einen positiven Credit geben, wenn von dieser Adresse über einen vertrauenswürdigen Provider versendet wurde.

Im Grund hast du recht, ganz koscher ist die Sache nicht, ich denke aber, dass dies eine Schwäche ist, die sich nicht grundlegend beheben lässt. Relativ schnell solltest du das Problem aber in den Griff bekommen, wenn du den Bayes-Filter mit den false positives als Ham fütterst.

Gruss
Schorsch

1 „Gefällt mir“

2.5 RCVD_IN_DYNABLOCK RBL: Sent directly from dynamic IP
address [217.247.135.15 listed in dnsbl.sorbs.net]

=> Das ist nicht der Fall!

Was ist nicht der Fall? Meinst du, dass die Adresse in
dnsbl.sorbs.net nicht gelistet sei?

Es ist nicht der Fall, daß diese eMail „directly from dynamic IP“ gesendet wurde.
Darunter verstehe ich, daß sie von einer dynamischen IP direkt beim Ziel-MTA abgeliefert wird.
Sie wurde hier ganz korrekt für einen web.de-Absender beim web.de-SMTP-Server abgeliefert, und dieser hat sie zu mir gebracht, so wie es sein soll.

Im Grund hast du recht, ganz koscher ist die Sache nicht, ich
denke aber, dass dies eine Schwäche ist, die sich nicht
grundlegend beheben lässt. Relativ schnell solltest du das
Problem aber in den Griff bekommen, wenn du den Bayes-Filter
mit den false positives als Ham fütterst.

*seufz* Ich werd das mal probieren. Dank Dir.

Gruß,

Malte.

*seufz* Ich werd das mal probieren. Dank Dir.

Oder ein Update auf SA 3.0. Ich habe mir die Web.de-Grusskarte selbst mal zugeschickt, die Version 3.0 wertet deutlich vorsichtiger (ohne dabei zu übervorsichtig zu sein!):

Content analysis details: (3.0 points, 5.0 required)

 pts rule name description
---- ---------------------- --------------------------------------------------
 1.2 MIME\_HTML\_ONLY BODY: Message only has text/html MIME parts
 0.0 HTML\_MESSAGE BODY: HTML included in message
 1.8 RCVD\_IN\_BL\_SPAMCOP\_NET RBL: Received via a relay in bl.spamcop.net
 [Blocked - see]
 0.0 MSGID\_FROM\_MTA\_HEADER Message-Id was added by a relay

Gruss
Schorsch

1 „Gefällt mir“