Möglich eventuell die Bot-Trap hier vom User Airport1: *** Link veraltet ***
Die Wahrscheinlichkeit, dass die den Zugriff abfängt ist hoch.
Oder die IP sperren, wenn Du sie denn hast.
Hab gerade mal geschaut, der Semalt-Crawler kommt so 10 bis 100 mal pro Tag und pro Domain bei mir vorbei. Mit den verschiedensten Zahlen als Subdomain. Hält sich also noch in Grenzen.
So, habe den bei mir jetzt auch mal drauf gehabt und ich muss sagen, die Bot-Trap sperrt ihn aus:
21.08.2014 10:28:21 - 217.23.11.15 customer.worldstream.nl - Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.116 Safari/537.36 - - 1nt.de/ - iprange - 217.23.11.0/217.23.12.255 - ?
Genau genommen sperrt die die ganze Range 217.23.11.0/217.23.12.255.
Wäre also wohl ein Versuch wert, nur die IP "217.23.11.15" zu sperren oder den Teilbereich "217.23.11.x"
Ip-Sperren sind da schwer, da sie IPs aus allen Herren Ländern verwenden. Tatsächlich helfen tut aber die Sperre auf *** Link veraltet *** - dort aber den exakten Host eintragen (also z.B. *** Link veraltet *** ). Danach ist Ruhe.
Ich hab die jetzt auch mal rausgeworfen und den link von chris21 verwendet.
Deren bots wüten da bei mir seit Wochen rum und da ich deren Dienste nicht nutze, sollen die woanders spielen gehen.