Grade mal so geschaut.
Code
User-agent: * Disallow: /http://bild.de/robots.txt Hat das irgendeine tiefgründige Bedeutung, oder hat der SEO da geschlampt?
Bild.de sperrt alle Bots?
-
was du wieder siehst :o
-
Ist doch eine ganz normale Sache. Sie sperren erst mal alles und geben dann gezielt einzelne Bots wieder frei.
ZitatBild.de sperrt alle Bots?
Wie war das mit den Füßen??? Nicht nur die erste Anweisung lesen, sondern die nächsten auch
P.S. Hat Pagespeed etwa die Abfrage verweigert ?