Authority
Die robots txt kann Bots von bestimmten Bereichen ausschliessen. Zum Beispiel der Admin Bereich sollte nicht gecrawlt werden oder andere unwichtige Sachen kann man mit den robots txt Regeln definieren. Vielleicht hat ja der ein oder andere mal ein paar Beispiele für eine gute robots txt, die er hier veröffentlichen möchte. Joomla beispielsweise hat eine vorkonfigurierte robots txt, die schon den Adminbereich und die Komponeten Standardmässig ausschliesst. Auf keinen Fall sollte man als ungeübter die robots.txt bearbeiten, wenn man nicht weiss was man da macht. Im schlimmsten Fall wird die Seite gar nicht mehr vom Bot besucht ( alles schon gesehen) und man wird im Internet nicht mehr gefunden.
Autor: Alex07
Stand: 20.08.11
Überarbeitet von:
am:
(Du möchtest diese Erklärung zum Thema überarbeiten / erweitern oder hast eine Erklärung zu einem Thema, das hier fehlt? Schick uns bitte Deine neue Version per PM. Danke!)
Sollte Deine Frage zum Thema nun noch nicht beantwortet sein, kannst Du hier jetzt weiterführende Fragen stellen!
(einfach auf "Antwort" klicken)