Disallow-Frage

  • Vorher hatte ich Content, der unter example.com/tolles-lexikon/datei.html lag.
    Dann band ich den als einzelne Artikel in das WP ein und er ist nun unter example.com/lexika/tolles-lexikon/datei erreichbar.
    Da ich den ursprünglichen Content (alles html-Dateien) nicht vom Server löschen wollte, liegt der da immer noch, aber ich habe den Ordner in der robots.txt mit "Disallow: /tolles-lexikon/" vom crawlen ausgeschlossen.


    Das findet google nicht wirklich gut. Und ich somit auch nicht.
    Kann das sein, daß der google-bot nun auch den Ordner /lexika/tolles-lexikon/ nicht mehr crawlt?


    Und kann ich in der robots.txt eigentlich einfach den Pfad ganz angeben?
    Also statt ""Disallow: /tolles-lexikon/"" einfach "Disallow: example.com/tolles-lexikon/"


    Und was würde passieren, wenn ich ein
    Disallow: /tolles-lexikon/
    Allow: /lexika/tolles-lexikon/
    mache?

    Wer zuerst "Datenschutz" sagt, hat verloren.

  • Zitat von catcat;11707

    Kann das sein, daß der google-bot nun auch den Ordner /lexika/tolles-lexikon/ nicht mehr crawlt?


    das dürfte eigentlich nicht sein.


    Zitat

    Und kann ich in der robots.txt eigentlich einfach den Pfad ganz angeben?
    Also statt ""Disallow: /tolles-lexikon/"" einfach "Disallow: example.com/tolles-lexikon/"


    soviel ich weiss nein.


    Zitat

    Und was würde passieren, wenn ich ein
    Disallow: /tolles-lexikon/
    Allow: /lexika/tolles-lexikon/
    mache?


    allow gibt es eigentlich gar nicht. aber google akzeptiert es glaub ich trotzdem.

  • Also werfe ich eine .htaccess mit sowas
    RewriteRule ^([^/]+\.html)$ *** Link veraltet ****** Link veraltet *** [R=301,L]
    in den alten Ordner?

    Wer zuerst "Datenschutz" sagt, hat verloren.

  • Hab ich nem Fred bei Abakus entliehen^^
    Nicht, daß noch jemand auf die Idee kommt, ich wäre plötzlich schlau geworden.

    Wer zuerst "Datenschutz" sagt, hat verloren.