Vorher hatte ich Content, der unter http://example.com/tolles-lexikon/datei.html lag.
Dann band ich den als einzelne Artikel in das WP ein und er ist nun unter http://example.com/lexika/tolles-lexikon/datei erreichbar.
Da ich den ursprünglichen Content (alles html-Dateien) nicht vom Server löschen wollte, liegt der da immer noch, aber ich habe den Ordner in der robots.txt mit "Disallow: /tolles-lexikon/" vom crawlen ausgeschlossen.
Das findet google nicht wirklich gut. Und ich somit auch nicht.
Kann das sein, daß der google-bot nun auch den Ordner /lexika/tolles-lexikon/ nicht mehr crawlt?
Und kann ich in der robots.txt eigentlich einfach den Pfad ganz angeben?
Also statt ""Disallow: /tolles-lexikon/"" einfach "Disallow: http://example.com/tolles-lexikon/"
Und was würde passieren, wenn ich ein
Disallow: /tolles-lexikon/
Allow: /lexika/tolles-lexikon/
mache?
