Filter- und Erkennungsmethoden für Spam

Internet Internet Sicherheit
#1

Hallo,

gibt es irgendwo eine Übersicht, welche allgemein bekannten Filter- und Erkennungsmethoden es für Spam-Mails gibt?! So mit Vor- und Nachteilen und Funktionsweise?! Ich vermute, dass es dabei doch eine grundsätzliche Unterscheidung zwischen server- und clientbasierter Filterung geben müsste.

Ich suche so verschiedene Erkennungsmethoden wie Textmusteranalyse, Briefkopfanalyse, Bayes Filter, etc…
Die meisten Artikel, die ich bis jetzt gefunden habe, gehen in erster Linie über Tips für das Nutzerverhalten ein oder oberflächlich auf ein Analysetool. Lieber wäre mir mal eine Übersicht, von der ausgehend ich in die Tiefe gehen kann und die Vor- und Nachteile diverser Methoden erörtern kann…

Grüsse
schuelsche

#2

Nachtrag: Filter- und Erkennungsmethoden für Spam
Nochmal Hallo,

ich bin dabei mehr an den Techniken interessiert als an einer Auflistung, welche Programme man benutzen kann.

Grüsse
schuelsche

#3

Hi Schuelsche,

eine Möglichkeit ist, mail-server, die als mail-relay server funktionieren (ich habe keinen Mail account dort kann aber trotzdem den Server missbrauchen um Mails zu schicken mit beliebiger absender mailadresse) server in eine blacklist zu schreiben. Gibt es ein paar im Internet.
Leider gibt es mittlerweile Viren, die Spams verschicken… über das mail programm und „guten“ mail server. Da brauchst Du tatsächlich Textanalyse. Die Viren spams, die den Virus gleich mitschicken sind ja mit virus check im Mailserver schon wech. Wir erweitern gerade unseren Mail server mit „Textanalyse“, allerdings nur mit den im Moment vorkommenden Betreff Wörtern…

Gruss
Thomas

[Bei dieser Antwort wurde das Vollzitat nachträglich automatisiert entfernt]

#4

Hallo,

ich bin dabei mehr an den Techniken interessiert als an einer
Auflistung, welche Programme man benutzen kann.

auf der Homepage von SpamAssassin http://spamassassin.org/tests.html wird aufgelistet, welche Tests verwendet werden und mit welchem Gewicht sie standardmaessig eingesetzt werden, um den Spam-Level zu berechnen.

–
PHvL

#5

gibt es irgendwo eine Übersicht, welche allgemein bekannten
Filter- und Erkennungsmethoden es für Spam-Mails gibt?! So mit
Vor- und Nachteilen und Funktionsweise?! Ich vermute, dass es
dabei doch eine grundsätzliche Unterscheidung zwischen server-
und clientbasierter Filterung geben müsste.

Die i’X hat in den vergangenen Monaten dieses Thema mehrfach aufgegriffen und ist dabei teilweise sehr detailliert auf die versch. Methoden der Spamerkennung eingegangen. Sollte in der Bibliothek der Informatik-Fakultät zu finden sein.

Gruss
Schorsch

#6

Intelligent Message Filter/ Microsoft
Hallo Schuelsche,

Mal ein Beispiel von Microsoft.
In dem Dokument steht zwar hauptsächlich etwas zur Bereitstellung, aber auch nützliche Informationen zu deiner Frage.

eine Word (*.doc) file
http://seifert.homelinux.net/download/Intelligent_Me…

als MHTML File

http://seifert.homelinux.net/download/Intelligent_Me…

Vielleicht hilft dir das etwas weiter.
Servus Masei1202

#7

Jeder Spamfilter basiert auf diese Methode den Header zu durchsuchen. Wenn du Mailadressen beispielsweise einzeln sperrst, werden die im Header gesucht und wenn die übereinstimmen, DANN werden sie gefiltert. Geht bei den meisten Antispamproggs leider nur mit Emailadr. und nicht mit der IP. Das ist aber die übliche Methode wie die gefiltert werden.

mfg pseiko

[Bei dieser Antwort wurde das Vollzitat nachträglich automatisiert entfernt]

#8

Jeder Spamfilter basiert auf diese Methode den Header zu
durchsuchen. Wenn du Mailadressen beispielsweise einzeln
sperrst, werden die im Header gesucht und wenn die
übereinstimmen, DANN werden sie gefiltert. Geht bei den
meisten Antispamproggs leider nur mit Emailadr. und nicht mit
der IP. Das ist aber die übliche Methode wie die gefiltert
werden.

Na, da springst du aber doch ein bisschen zu kurz. Es gibt genügend Methoden, Spam nicht am Header, sondern am Inhalt zu erkennen und entspr. zu filtern. Einfache Wortfilter, Bayes Analyse, Checksummenbildung mit Gegenprüfung auf einen entspr. Server…

Und die Methode, über einzelne IP- oder Mailadressen zu filtern, wird dir viele Nachmittage stumpfen Eintippens von Adressen einbringen - die Spamflut verhindern wird sie nicht. Für die Filterung über Adressen gibt es entspr. Datenbanken, die z. B. open relays, dynamische Adressbereiche, bekannte Spamhosts oder spamfreundliche Provider auflisten (siehe z. B. http://www.dnsbl.nl.sorbs.net/using.html). Allerdings setzt eine Auswertung auf derartige Kriterien nicht am Spamfilter, sondern am MTA an.

Du scheinst dich auf Filterung ausschliesslich am Mail-Client zu beziehen, aber da schon ist die Welt weit grösser, als du sie bislang siehst. Ich empfehle dir, dich z. B. mit Mozilla (Thunderbird) http://mozilla.org/start/1.5/extra/using-junk-contro… zu befassen, dessen Spamfilter weit mehr als nur primitive Adress-basierte Filterung beherrscht.

Gruss,
Schorsch

#9

Hallo,

eine Word (*.doc) file

Örks …

als MHTML File

Ist das ein Standard? Mit welchen Programm sollte man das öffnen?

Gruß & Dank,

Sebastian

#10

Hallo,

gibt es irgendwo eine Übersicht, welche allgemein bekannten
Filter- und Erkennungsmethoden es für Spam-Mails gibt?! So mit
Vor- und Nachteilen und Funktionsweise?!

Ja. Etwa so:

  • Festes Regelwerk. Veraltet schneller, je weiter es im Gebrauch ist. Unflexibel.Einfach zu konfigurieren.

  • Server-Blocklisten: Es gibt eine ganze reihe mit teilweise unterschielicher Qualität. Sind in der Vergangenheit ins Visier der Spammer genommen worden.

  • „bayesian filtering“: sehr flexibel, sehr gute Werkennung. Muß aber gewartet und trainiert werden.

  • Anti-Spam-Netzwerke
    bilden Prüfsummen von Mails und sammeln diese Informaion, stellen sie aber auch den Clients zur Verfügung. Erkennt massenversand, kann große Mailinglisten bei dusseliger Konfiguration als „false positive“ bewerten.

Ich vermute, dass es
dabei doch eine grundsätzliche Unterscheidung zwischen server-
und clientbasierter Filterung geben müsste.

Äh? Ja. Was war noch der Unterschied von Server zu Client?

SpamAssassin ist eine gute Kombination der Verfahren, anhand der Header kann man wunderbar studieren, welche Verfahren wann anschlagen.

Gruß,

Sebastian

#11

Hallo,

eine Word (*.doc) file

Örks …

als MHTML File

Ist das ein Standard?

Zumindest eher keiner, den man frei implementieren darf.

Was konkret spricht gegen etwas allgemein anerkanntes wie HTML oder PDF?

http://www.mindcrime.net/~niehaus/Intelligent_Messag…

Ist doch nur ein Mausklick. Oder?

Gruß,

Sebastian

#12

Hallo,

wow! Vielen Dank, genau so was hatte ich gesucht :wink:

Festes Regelwerk. Veraltet schneller, je weiter es im
Gebrauch ist. Unflexibel.Einfach zu konfigurieren.

Darunter sind dann so Sachen wie nach Mailadressen oder IP-Adressen filtern zu verstehen?! Die so genannten White-&Blacklists?! Und es ist deshalb schnell veraltet, weil man mit Regeln definieren nicht hinterher kommt?

Server-Blocklisten: Es gibt eine ganze reihe mit teilweise
unterschielicher Qualität. Sind in der Vergangenheit ins
Visier der Spammer genommen worden.

Diese Server-Blocklisten kann man sich ja dann wahrscheinlich irgendwo runterladen. Können die einfach so in einen Mailclient integriert werden und wie hält man die dann up-to-date? Oder müssen diese dann auf einem Server integriert werden?

„bayesian filtering“: sehr flexibel, sehr gute Werkennung.
Muß aber gewartet und trainiert werden.

Das ist das, was man im Mozilla auch als „Junkmailfilter“ findet?

Anti-Spam-Netzwerke bilden Prüfsummen von Mails und
sammeln diese Informaion, stellen sie aber auch den Clients
zur Verfügung. Erkennt massenversand, kann große Mailinglisten
bei dusseliger Konfiguration als „false positive“ bewerten.

Das sind dann solche Dienste, wo ich mich online anmelden muss? Gibts dafür ein Beispiel?

Ich vermute, dass es
dabei doch eine grundsätzliche Unterscheidung zwischen server-
und clientbasierter Filterung geben müsste.

Äh? Ja. Was war noch der Unterschied von Server zu Client?

Naja, ich meinte damit halt den Unterschied, ob ich die Mails in meinem Mailprogramm, also auf meinem lokalen Rechner filtere oder ob sie schon auf dem Mailserver gefiltert werden, bevor ich sie herunterlade.

Grüsse
schuelsche

#13

Open source user

Hallo,

eine Word (*.doc) file

Örks …

als MHTML File

Ist das ein Standard?

Zumindest eher keiner, den man frei implementieren darf.

Nochmal Hallo,

ahhhh, die Minderheiten vergaß ich wieder. Das naechste mal denk ich dran, Ehrenwort. . .

:smile:

Servus Matthias
P.S. ist nicht Böse gemeint, Ich wollte nur Informationen bereitstellen. . .

#14

Hallo,

Festes Regelwerk. Veraltet schneller, je weiter es im
Gebrauch ist. Unflexibel.Einfach zu konfigurieren.

Darunter sind dann so Sachen wie nach Mailadressen oder
IP-Adressen filtern zu verstehen?!

Ja, so in etwa. Mir fiel spontan sowas wie http://www.belwue.de/projekte/spamblock.html ein.

Die so genannten
White-&Blacklists?! Und es ist deshalb schnell veraltet, weil
man mit Regeln definieren nicht hinterher kommt?

Ja. Und wenn ein Filter weit genug verbreitet ist, lohnt es sich für Spammer, daran vorbei zuoptimieren

Server-Blocklisten: Es gibt eine ganze reihe mit teilweise
unterschielicher Qualität. Sind in der Vergangenheit ins
Visier der Spammer genommen worden.

Diese Server-Blocklisten kann man sich ja dann wahrscheinlich
irgendwo runterladen.

Nein, die werden in der Regel online abgefragt über das DNS-Protokoll.

Einen recht universellen Client gibts hier: http://cr.yp.to/ucspi-tcp/rblsmtpd.html

Können die einfach so in einen
Mailclient integriert werden

Definitiv: nein.

und wie hält man die dann
up-to-date?

Der fragt Server ab, die Blocklisten zur Verfügung stellen.

Oder müssen diese dann auf einem Server integriert
werden?

Ja.

„bayesian filtering“: sehr flexibel, sehr gute Werkennung.
Muß aber gewartet und trainiert werden.

Das ist das, was man im Mozilla auch als „Junkmailfilter“
findet?

So weit ich weiß: ja. (Ich nutze Mozilla nicht für Mail).

Anti-Spam-Netzwerke bilden Prüfsummen von Mails und
sammeln diese Informaion, stellen sie aber auch den Clients
zur Verfügung. Erkennt massenversand, kann große Mailinglisten
bei dusseliger Konfiguration als „false positive“ bewerten.

Das sind dann solche Dienste, wo ich mich online anmelden
muss? Gibts dafür ein Beispiel?

http://razor.sourceforge.net/
http://www.rhyolite.com/anti-spam/dcc/

Ich vermute, dass es
dabei doch eine grundsätzliche Unterscheidung zwischen server-
und clientbasierter Filterung geben müsste.

Äh? Ja. Was war noch der Unterschied von Server zu Client?

Naja, ich meinte damit halt den Unterschied, ob ich die Mails
in meinem Mailprogramm, also auf meinem lokalen Rechner
filtere oder ob sie schon auf dem Mailserver gefiltert werden,
bevor ich sie herunterlade.

Abgesehen von den DNS-Blocklists, die nur auf einem Server Sinn machen, kannst Du mit den Programmen alles Mögliche machen. Was Du auf dem Server wegwirfst, ist eine Frage der Konfiguration auf dem Server.

Wenn Du den Server nicht konfigureren kannst (mangels Zugriffsrechten zum Beispiel) mußt Du die Mails lokal untersuchen. Raffiniertere Methoden analysieren meist die ganze Mail, deshalb mußt Du sie in dem Fall erst herunterladen.

Gruß,

Sebastian