[Postfixbuch-users] Weniger Spam? - Logparser

[Thomas Gelf]

Hallo miteinander!

Thomas Klein schrieb:
> Woah... über ne Million rejects am Tag? Strange.... ;)

Strange? Naja... wenn schon alle mit ihren Zahlen rausrücken, dann muss
ich wohl auch - also Hose runter, Schwanzvergleich ;-p

Spaß beiseite, dass der Verkehr vom 12. bis zum 14. zurückgegangen ist
kann man hier ebenfalls nachvolziehen, dafür sind wir am 15. dann aber
wieder auf der Höhe des 12 angekommen. Also alles im Rahmen des ganz
normalen Auf- und Ab des alltäglichen Spam-Wahnsinns.

Meine Rejects (kein Greylisting):

08.09. 2.853.961
09.09. 1.677.852
10.09. 2.360.631
11.09. 2.092.390
12.09. 2.610.918
13.09. 2.049.018
14.09. 1.494.517
15.09. 2.543.785
16.09. 1.064.555 (von 00:00 bis 14:20)

Der letzte massive Einbruch war übrigens am 11.11. - wir hatten am
10.11. noch eine Spitze von insgesamt über 6.000.000 Zustellversuchen,
am 12.11. waren es dann plötzlich weniger als 1.500.000 - aber den Grund
kennen wir ja alle. Am 25.11. begann der Spam sich wieder zu "erholen",
die letzte auffällige Spitze war vom 16.12. - 20.12.

Btw: Die Zahlen liefert mir eine richtig coole Eigenentwicklung (von mir
höchstpersönlich). Unser Support-Team und die Admins unserer VIP-Kunden
haben Live-Zugang auf unsere Logs, und auch "normale" Kunden sehen alle
Rejects live in deren Webmail, gleich unter der Quarantäne. Und unserem
Support-Team steht sogar die Entwicklung der letzten 14 Tage auf Domain-
und Postfach-Ebene (Deliveries, Rejects, Quarantäne, Viren) als hübsche
Grafik zur Verfügung.

Wer sich die Zahlen oben ansieht kann sich vorstellen, dass so etwas gar
nicht so trivial ist - bin deshalb richtig stolz darauf ;-) Und um euren
Fragen zuvorzukommen: Mein Arbeitgeber ist prinzipiell damit einversta-
nden, dass ich das Teil bei Gelegenheit als OSS freigebe.

Freigeben werde ich zwar nicht den ganzen Statistik-, Webmail- und VIP-
Kunden-Teil - denn der ist viel zu tief mit unseren eigenen Applika-
tionen verdrahtet - wohl aber das Herz-Stück: den Daemon, welcher das
Syslog von mehreren Amavis- und Postfix-Servern live korreliert und in
Datenbanken ablegt - optimiert für Such-Anfragen. Bei uns beträgt (wenn
man die Quarantäne mitzählt) die Gesamtgröße der Mail-bezogenen Daten-
banken meist so um die 300 GB, trotzdem ist das Ganze super-schnell.

Mit liebem Gruß
Thomas Gelf

PS: Bitte mich jetzt nicht mit "Und wann kriegen wir das?"-Fragen bom-
    bardieren, bin leider komplett mit Arbeit zugedeckt - und wie das
    halt leider so ist hat so etwas üblicherweise allerniedrigste
    Priorität.

    Da aber im ersten Halbjahr 2009 Arbeiten an dieser Komponente an-
    stehen (was derzeit noch fehlt ist z.B. SMTP im Ausgang, auch hier
    hätten unsere Kunden gerne live Zugriff auf das Log unserer Relay-
    Server - und andere Feinheiten), könnte ich mir gut vorstellen, das
    Teil im Rahmen dieser Arbeiten zu säubern und hierbei das Projekt
    "Cooler OSS-Maillog-Parser" anzugehen.

PPS: Nein, das Teil ist nicht für Installationen mit einem Server und
    ein paar hundert Postfächern gedacht, da wäre es echt totaler
    Overkill.