Zitat von Hecht;31374
Wenn die wirklich "bösen Bots" sich nicht an die robots.txt halten, weil es denen Schnuppe ist. Wozu sich dann damit befassen und in robots.txt aufnehmen?
Genau, wie Lorem sagte. Es ist eben eine Mischung. Die Robots.txt ist nützlich für alle Bots, die sich an den Standard halten. Das sind dann aber keine "bösen Bots", sondern eher welche, die man einfach nur so nicht haben will, z.B. Archive-Bot, Yantex, Japanische Sumas, andere private Spider von SEO-Tools etc. Die Sammeln zwar in dem Sinne auch Daten, sind aber nicht böse. Andere, die wirklich böse sind, sei es z.B. ein Spider von einem Proxy etc, denen ist der Standard egal.
Und eben von den "normalen aber unbrauchbaren" hast Du da auch sehr viele in der Liste, wobei ich mir da aber sicher bin, dass die bei Dir nie aufschlagen werden, weil denen Deine Seite gar nicht interessiert.
Die Robots.txt ist nur ein Gebot, kein Gesetz. Daran kann man sich halten, muss es aber nicht, eben wie bei den 10 Geboten.
Ich für meinen Fall habe nur die in der Liste:
User-agent: Gaisbot
Disallow: /
User-agent: IRLbot
Disallow: /
User-agent: dotbot
Disallow: /
User-agent: Baiduspider
Disallow: /
User-agent: BotOnParade
Disallow: /
User-agent: spbot
Disallow: /
Alles anzeigen
Und das daher, da die aufgefallen sind mit unnötigem Traffik (z.B. IRLbot), sinnlosen URL-Abfragen, die es gar nicht gibt (z.B. Baiduspider) und unklaren Verwendungen der Daten (z.b. BotOnParade).
Alles andere wird dann von der Bottrap gefangen und wenn es dort zu viel wird, oder wenn die durchkommen und Spam auf dem System versuchen, dann landen die automatisiert in der Sperrliste der htaccess.