Rspamd und fuzzy

[Carsten Rosenberg]

Hey,

FUZZY_UNKNOWN ist ein Symbol an den sich der Callback des Plugins dran
hängt und normalerweise nicht angezeigt wird.

Um das FUZZY_UNKNOWN zu bekommen, müsste ein nicht definiertes flag aus
der fuzzy_map zurück geliefert werden und skip_unknown = false gesetzt sein.

Wenn du also skip_unknown = false  setzt und z.B. FUZZY_DENIED
auskommentierst bekommst du bei einem Hit vom eigentlichen FUZZY_DENIED
(flag 1) das FUZZY_UNKNOWN, da es nicht zugeordnet werden kann.

> Hin und wieder wird eine angelernte Adresse mit "LOCAL_FUZZY_WHITE"

Fuzzy ist eine Art Text Pattern matching und File Hashing. Es wirkt also
auf den Inhalt und nicht auf eine Adresse.

viele Grüße

Carsten

On 06.03.19 21:51, Florian Ruhnke wrote:
> Sorry für die jetzt doof formatierte Mail, schreib gerade übers Smartphone.
> 
> min_bytes habe ich schon auf 100 runter gesetzt, min_length habe ich
> noch gar nicht probiert.
> 
> Hier mal ein configdump, habe allerdings _alles_ als json schreiben
> lassen und dann nach fuzzy aussortiert (und dabei hoffentlich keine
> Klammern falsch gelöscht, Smartphone halt). Die mime_types resultieren
> aus verschiedenen Versuchen, ihn doch noch zu überreden. Bis heute
> morgen war nur * drin. Ebenso retransmits und timeout.
> 
> {
> "fuzzy_check": {
> "retransmits": 7,
> "rule": {
> "FUZZY_CUSTOM": {
> "min_width": 100,
> "symbol": "LOCAL_FUZZY_UNKNOWN",
> "mime_types": [
> "*",
> "application/*",
> "text/*",
> "text/html",
> "text/plain",
> "*/*",
> "image/*"
> ],
> "fuzzy_map": {
> "LOCAL_FUZZY_DENIED": {
> "flag": 11,
> "max_score": 20
> },
> "LOCAL_FUZZY_WHITE": {
> "flag": 13,
> "max_score": 2
> },
> "LOCAL_FUZZY_PROB": {
> "flag": 12,
> "max_score": 10
> }
> },
> "min_height": 100,
> "short_text_direct_hash": true,
> "max_score": 20,
> "skip_unknown": true,
> "read_only": false,
> "algorithm": "mumhash",
> "servers": "127.0.0.1:11335"
> },
> "rspamd.com": {
> "symbol": "FUZZY_UNKNOWN",
> "mime_types": [
> "*"
> ],
> "encryption_key": "icy63itbhhni8bq15ntp5n5symuixf73s1kpjh6skaq4e7nx5fiy",
> "read_only": true,
> "fuzzy_map": {
> "FUZZY_PROB": {
> "flag": 2,
> "max_score": 10
> },
> "FUZZY_DENIED": {
> "flag": 1,
> "max_score": 20
> },
> "FUZZY_WHITE": {
> "flag": 3,
> "max_score": 2
> }
> },
> "max_score": 20,
> "short_text_direct_hash": true,
> "skip_unknown": true,
> "algorithm": "mumhash",
> "servers": "round-robin:fuzzy1.rspamd.com:11335,fuzzy2.rspamd.com:11335"
> }
> },
> "timeout": 20,
> "min_bytes": 100
> },
> "group": {
> "fuzzy": {
> "symbols": {
> "LOCAL_FUZZY_UNKNOWN": {
> "description": "Generic fuzzy hash match, local",
> "weight": 5
> },
> "LOCAL_FUZZY_WHITE": {
> "description": "Whitelisted fuzzy hash, local",
> "weight": -2.100000
> },
> "FUZZY_DENIED": {
> "description": "Denied fuzzy hash, bl.rspamd.com",
> "weight": 12
> },
> "FUZZY_WHITE": {
> "description": "Whitelisted fuzzy hash, bl.rspamd.com",
> "weight": -2.100000
> },
> "FUZZY_UNKNOWN": {
> "description": "Generic fuzzy hash match, bl.rspamd.com",
> "weight": 5
> },
> "FUZZY_PROB": {
> "description": "Probable fuzzy hash, bl.rspamd.com",
> "weight": 5
> },
> "LOCAL_FUZZY_PROB": {
> "description": "Probable fuzzy hash, local",
> "weight": 5
> },
> "LOCAL_FUZZY_DENIED": {
> "description": "Denied fuzzy hash, local",
> "weight": 12
> }
> },
> "max_score": 20
> }
> },
> "worker": [
> {
> "fuzzy": {
> "backend": "redis",
> "expire": 15552000,
> "sync": 60,
> "allow_update": "127.0.0.1, [::1]",
> "db": "2",
> "enabled": true,
> "bind_socket": "localhost:11335",
> "count": 2
> }
> }
> ],
> "milter_headers": {
> "extended_spam_headers": true,
> "use": [
> "x-spamd-bar",
> "x-spam-level",
> "authentication-results",
> "x-spamd-result",
> "x-rspamd-server",
> "x-rspamd-queue-id",
> "fuzzy-hashes",
> "stat-signature"
> ],
> "routines": {
> "fuzzy-hashes": {
> "header": "X-Rspamd-Fuzzy"
> },
> }
> },
> "options": {
> "filters": "chartable,dkim,spf,surbl,regexp,fuzzy_check",
> }
> 
> 
> 
> Am 6. März 2019 17:23:26 MEZ schrieb Alex JOST <jost+lists at dimejo.at>:
> 
>     Am 06.03.2019 um 16:50 schrieb Florian Ruhnke:
> 
>         Moin,
> 
>         ich habe da mal eine Frage zu fuzzy_check, vielleicht ist das
>         auch ein Verständnisproblem.
> 
>         Soweit ich die Config verstanden habe, soll bei einem
>         "neutralen" resp. unbekannten Ergebnis das Symbol
>         "FUZZY_UNKNOWN" geliefert werden. Bei meiner Config wird aber
>         nix geliefert.
>         Definiert sind der Standardserver rspamd.com und ein lokaler Server.
> 
>         Hin und wieder wird eine angelernte Adresse mit
>         "LOCAL_FUZZY_WHITE" gemeldet, aber auch nicht immer.
>         Was mich auch irritiert ist, dass absolute Müllmails nicht mal
>         von rspamd.com ein denied bekommen, oder wenigstens ein prob.
> 
>         In der logging.inc habe ich Debug auf fuzzy_backend, fuzzy_check
>         und fuzzy_process_handler, aber bei einer ankommenden Mail
>         taucht nix mit Fuzzy im log auf.
>         Wenn ich manuell das Spam-Postfach anlernen will, überschlägt
>         sich das log mit "no content to generate fuzzy", was ich auch
>         nicht nachvollziehen kann...
> 
> 
>     Klingt mal so, als ob es nicht genug Inhalt zum Bewerten gäbe. Wie groß 
>     bzw. lang sind denn die E-Mails und was hast Du bei 'min_length' und 
>     'min_bytes' gesetzt?
> 
> 
>         Falls meine config hilft, schieb ich die hier gern rein (dann
>         als Anlage oder im Text?)
> 
> 
>     Konfiguration kann nie schaden :)
> 
>     	rspamadm configdump fuzzy_check
> 
> 
> -- 
> Diese Nachricht wurde von meinem Android-Gerät mit K-9 Mail gesendet.