404Jäger

Immer wieder taucht die Frage auf, wie sich der Zugriff von Crawlern auf bestimmte Bereiche einer Webseite steuern lässt. Besonders relevant wird das, wenn sensible Inhalte nicht in Suchmaschinen auftauchen oder von automatisierten Bots erfasst werden…