Die robots txt kann Bots von bestimmten Bereichen ausschliessen. Zum Beispiel der Admin Bereich sollte nicht gecrawlt werden oder andere unwichtige Sachen kann man mit den robots txt Regeln definieren. Vielleicht hat ja der ein oder andere mal ein paar Beispiele für eine gute robots txt, die er hier veröffentlichen möchte. Joomla beispielsweise hat eine vorkonfigurierte robots txt, die schon den Adminbereich und die Komponeten Standardmässig ausschliesst. Auf keinen Fall sollte man als ungeübter die robots.txt bearbeiten, wenn man nicht weiss was man da macht. Im schlimmsten Fall wird die Seite gar nicht mehr vom Bot besucht ( alles schon gesehen) und man wird im Internet nicht mehr gefunden.
