[Postfixbuch-users] Large Scale 100.000+ User

[stepken]

Peer Heinlein schrieb:
> Am Montag, 17. Dezember 2007 00:01 schrieben Sie:
>
>   
>> Problem: 100.000+ User, Gleichzeitigkeit von mehr als 100+ geöffnete
>> SMTP Datenströme (nach Grey - und Blacklisting).
>>     
>
> Redest Du nur von SMTP oder auch von POP3/IMAP?
>
>   
1000+ simultane IMAP / die aktiv was tun (lesen, verschieben, filtern, ...)
>> 1. Von der Administration gefällt mir DBMAIL sehr gut, wie gut
>> skaliert das (die Mails liegen bei DBMAIL in der Datenbank!) ?
>>     
> DBMAIL kenne ich, habe ich noch nicht eingesetzt, mein Bauchgefühl mag 
> das nicht.
>
> Ich setze auch in Größenordnungen bis 250.000 Nutzer noch das klassische 
> Courier oder Dovecot ein. Was nicht kaputt gehen kann, kann keinen 
> Ärger machen. Und: I/O bleibt I/O, ganz gleich ob in SQL oder direkt 
> auf der Platte. Und Dein Problem ist nunmal das I/O.
>   
Wohl war. Nun, ein RAID-10 SCSI haben wir, das dürfte reichen ... ;-)
>> 2. IP - oder Mailrouting Loadbalancer?
>>     
>
> Ich hasse Loadbalancer vor SMTP-Maschinen.
>   
Warum so starke Gefühle bei einfachen Softwaredingen?
> Kann man aber so in diesen Größenordnungen nicht sagen. Abhängig von 
> Euren Wünschen kann es Sinn machen, wenn man MX-10 und Loadbalancer 
> kombiniert. Aber ansonsten bitte nur MX-Routing. Und wenn Du 100.000 
> IMAP-Konten machen willst, wirst Du um LBs wahrscheinlich eh nicht 
> herumkommen.
>
>   
>> 3. Wie wirksam sind breits mehrfache MX 10 'er Einträge?
>>     
>
> Ganz normal: Sie streuen es Round-Robin in die Breite.
>   
Problem hier: Greylisting - Synchronisation. Die MX 10 er müssen anhand 
einer einzigen Datenbank abgleichen. Auch ein Nadelöhr.
>
>   
>> 6. Black/White/Greylisting - die effizientesten Verfahren/Dämonen?
>>     
>
> Mailingliste und Buch lesen. Es kommt auf Deine Anforderungen und 
> Ansprüche drauf an.
>   
3000+ simultane SMTP (eingehende) Mailverbindugen und 1000+ simultane 
IMAP4. Die durch Blacklisting abgelehnten, hunderte von Millionen Mails 
jeden Monat noch nicht eingerechnet.
>> 7. Mails mit ZIP...-Anhängen generell verbieten, wegen möglichen DoS
>> durch Mailbomben?
>>     
>
> Nein.
>
>   
>> 8. Nachklassifizierung von bereits einsortierten Mails sinnvoll?
>> (SPAM, Viren....)
>>     
>
> Nein, aber die Begründung dazu würde jetzt hier länger ausfallen.
>   
Vielleicht, abgesehen von Irritationen bei Kunden, ein kleiner Hinweis, 
warum nicht? Immerhin kann man ja nachträglich so einige 
durchgeflutschte Mails noch hinausschmeissen. Das vermindert nochmals 
das Backupvolumen.
>   
>> 9. Hochverfügbarkeit, wie?
>>     
>
> Auch hier: Buch lesen, Liste lesen. Das jetzt hier manuell auszuführen, 
> würde leider ewig dauern.
>   
Ok.
>
> In dieser Größenordnung wäre ein solches Projekt vielleicht wirklich 
> etwas, wo man sich kompetente externe Hilfe ins Haus holen muß. Mein 
> Team und ich stehen dazu gerne zur Verfügung, wir haben Übung darin und 
> bauen regelmäßig entsprechende Mailcluster zwischen 50.000 und 250.000 
> Nutzer auf. Ich weiß gar nicht, was derzeit los ist, irgendwie ist das 
> das sechste Projekt dieser Größenordnung in den letzten Wochen. 
> Irgendwie wollen alle gerade neue Mailcluster?!
>
>   
Nun, wir müssen einen bisherigen ablösen, weil wir wachsen ;-) Das 
Problem dürfte sich in der nächsten Zeit noch vervielfachen, daher frage 
ich hier so naiv nach skalierbaren Systemen.

Danke für alle TIP an alle bis hierher jedenfalls...

Mit freundlichen Grüssen, Guido Stepken