semalt.com Werden eure Domains auch abgefragt?

    So ziemlich jede meiner Webseite wird via:

    PHP
    https://beispiel.rocks/beispiel.rocks/4.semalt.com/crawler.php?u=https://beispiel.rocks/beispiel.rocks/domain.de


    "gegengeprüft" und das mehrere Male pro Tag.
    Geht mir auf die Nerven.

    Kann man den Bot/Crawler sperren?

    Möglich eventuell die Bot-Trap hier vom User Airport1: *** Link veraltet ***
    Die Wahrscheinlichkeit, dass die den Zugriff abfängt ist hoch.

    Oder die IP sperren, wenn Du sie denn hast.

    Wenn ein Mensch nicht um dich kämpft, hat er nur gewartet, dass du gehst. ;(

    Hab gerade mal geschaut, der Semalt-Crawler kommt so 10 bis 100 mal pro Tag und pro Domain bei mir vorbei. Mit den verschiedensten Zahlen als Subdomain. Hält sich also noch in Grenzen.

    Im Nachhinein betrachtet, ist selbst die Sorge um den Tod umsonst!

    So, habe den bei mir jetzt auch mal drauf gehabt und ich muss sagen, die Bot-Trap sperrt ihn aus:

    Code
    21.08.2014 10:28:21 - 217.23.11.15 customer.worldstream.nl - Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.116 Safari/537.36 -  - 1nt.de/ - iprange - 217.23.11.0/217.23.12.255 - ?


    Genau genommen sperrt die die ganze Range 217.23.11.0/217.23.12.255.

    Wäre also wohl ein Versuch wert, nur die IP "217.23.11.15" zu sperren oder den Teilbereich "217.23.11.x"

    Wenn ein Mensch nicht um dich kämpft, hat er nur gewartet, dass du gehst. ;(

    Ip-Sperren sind da schwer, da sie IPs aus allen Herren Ländern verwenden. Tatsächlich helfen tut aber die Sperre auf *** Link veraltet *** - dort aber den exakten Host eintragen (also z.B. *** Link veraltet *** ). Danach ist Ruhe.

    Ich hab die jetzt auch mal rausgeworfen und den link von chris21 verwendet.
    Deren bots wüten da bei mir seit Wochen rum und da ich deren Dienste nicht nutze, sollen die woanders spielen gehen.

    Wer zuerst "Datenschutz" sagt, hat verloren.