BOT nutch/1.2 (nutch)

  • Hi zusammen,


    hab grad keine passende Kategorie gefunden, daher poste ich das erstmal hier.


    Kennt jemand diesen Bot? Hab ich seit gestern in den Logs.
    Soll ich den sperren oder nicht?


    Danke :)

  • Hmm ... ich sperr ja so einiges, aber da bin ich mir echt unsicher?


    Der Bot kommt kommt über diverse Ips und achtet auch die robots.txt.
    *** Link veraltet ***

  • Nutch ist nur eine Software, so wie viele andere auch. Die Frage ob sperren oder nicht richtet sich wohl eher danach, wer die Software einsetzt und was er mit den Daten macht. Ich persönlich würde aber auch sperren. Wenn einer so eine Software nutzt und nach außen "seriös" erscheinen will, dann ändert der zumindest den UA und nutzt nicht die Defaultvorgabe.


    Ich habe auch so Leute auf meinen Seiten, die senden UAs wie
    "Firefox/4.0.1 /Nutch-1.2" <- der kommt mit verschiedenen IPs und unterschiedlichen UA, aber immer mit nutch
    "nutch-solr-integration/Nutch-1.2"

  • Zitat von Synonym;9249

    Ich habe auch so Leute auf meinen Seiten, die senden UAs wie
    "Firefox/4.0.1 /Nutch-1.2" <- der kommt mit verschiedenen IPs und unterschiedlichen UA, aber immer mit nutch
    "nutch-solr-integration/Nutch-1.2"


    Bei mir nur mit "nutch/1.2 (nutch)"

  • Das kann dann der gleiche sein wie bei mir. Einer der UAs ist auch nur "nutch/1.2 (nutch)". Andere IP, gleicher Inhaber. -> "cluster.eu.webcrawler.pixray.com"


    Kann aber auch ein anderer sein, der die Software nur nutzt.

  • Zitat von MBR;9244

    ich sperr ja so einiges, aber da bin ich mir echt unsicher?


    Es ist definitiv keine große Suchmaschine also was soll dein Verlust/Schaden sein, wenn du ihn nicht sperrst?

  • So wie ich das verstanden habe, kann sich da jeder Horst seine eigene SuMa einrichten und festlegen wie und wo gesucht werden soll.
    Nur... ich hab eigentlich keinen Bock, das dann zig nutch-bots von zig selbsternannten SuMa-Betreibern meine Sites crawlen und mir ganz neue Dimensionen des nutzlosen traffics zeigen.


    Ist schon schlimm genug, daß der google-bot bei mir campt.

    Wer zuerst "Datenschutz" sagt, hat verloren.

  • Zitat von Malte Landwehr;9266

    Es ist definitiv keine große Suchmaschine also was soll dein Verlust/Schaden sein, wenn du ihn nicht sperrst?


    Ich hab ihn jetzt gesperrt. Merci :)

  • Zitat von Synonym;9264

    Das kann dann der gleiche sein wie bei mir. Einer der UAs ist auch nur "nutch/1.2 (nutch)". Andere IP, gleicher Inhaber. -> "cluster.eu.webcrawler.pixray.com"


    Ist definitiv der gleiche. Danke Dir!