[Trennmuster] Perl-Turbo

[Tobias Wendorff]

Ich habe noch nicht in deinen Code geschaut, aber das gleiche schon in PHP gebastelt.

Ich pipe den Inhalt ins Script und füge jedes Wort in ein einziges associated Array. So habe ich jedes Wort nur einmal drin.

Anschließend verschneide ich die Arrays und schreibe das Ergebnis in eine Datei.


Von einem iPhone gesendet und wird daher Fehler enthalten.

Am 03.11.2013 um 03:13 schrieb Georg Pfeiffer <gp at praetor.de>:

> Hallo,
>  
> ich habe mir ein kleines Perl-Skript gebastelt, das aus einer Datei neue, d.h. noch in keiner Trennmusterliste erfaßte Worte auflisten bzw. in eine Datei schreiben soll. Das Skript funktionert, aber es läuft unerträglich langsam. Z.B. braucht es geschlagene zwei Stunden für einen vielleicht hundertseitigen Text.
>  
> Ich vermute, daß das an der Speicherknappheit liegt. immerhin lädt es den zu untersuchenden Text, erstellt daraus eine Wortliste, führt dann die allgemeine allgemeine "wortliste" mit der pre-1901- und einer lokalen Trennmusterliste zusammen und gleicht schließlich jedes Wort der aus der Datei generierten Wortliste mit dieser Trennmustermaxiliste ab.
>  
> Vielleicht ist es einfach auch nur unzweckmäßig programmiert. Würde mal ein Perl-Guru drüberschauen und sehen, ob man da noch einen kleinen Turbo einbauen kann?
>  
> Vorab muß ich um Entschuldigung bitten: das Skript war eigentlich nicht zur Veröffentlichung gedacht. So sind z.B. die Dateipfade noch „hart verdrahtet“.
>  
> Gruß
> Georg
>  
> _______________________________________________
> Trennmuster mailing list
> Trennmuster at dante.de
> https://lists.dante.de/mailman/listinfo/trennmuster