BOT nutch/1.2 (nutch)

Dabei handelt es sich um *** Link veraltet ***. Kannst du sperren.

Nutch ist nur eine Software, so wie viele andere auch. Die Frage ob sperren oder nicht richtet sich wohl eher danach, wer die Software einsetzt und was er mit den Daten macht. Ich persönlich würde aber auch sperren. Wenn einer so eine Software nutzt und nach außen "seriös" erscheinen will, dann ändert der zumindest den UA und nutzt nicht die Defaultvorgabe.

Ich habe auch so Leute auf meinen Seiten, die senden UAs wie
"Firefox/4.0.1 /Nutch-1.2" <- der kommt mit verschiedenen IPs und unterschiedlichen UA, aber immer mit nutch
"nutch-solr-integration/Nutch-1.2"

Das kann dann der gleiche sein wie bei mir. Einer der UAs ist auch nur "nutch/1.2 (nutch)". Andere IP, gleicher Inhaber. -> "cluster.eu.webcrawler.pixray.com"

Kann aber auch ein anderer sein, der die Software nur nutzt.

Zitat von MBR;9244

ich sperr ja so einiges, aber da bin ich mir echt unsicher?

Es ist definitiv keine große Suchmaschine also was soll dein Verlust/Schaden sein, wenn du ihn nicht sperrst?

So wie ich das verstanden habe, kann sich da jeder Horst seine eigene SuMa einrichten und festlegen wie und wo gesucht werden soll.
Nur... ich hab eigentlich keinen Bock, das dann zig nutch-bots von zig selbsternannten SuMa-Betreibern meine Sites crawlen und mir ganz neue Dimensionen des nutzlosen traffics zeigen.

Ist schon schlimm genug, daß der google-bot bei mir campt.