Hi zusammen
Sagt mal, gibt es irgend einen Weg herauszufinden, wo der Bot eine URL her hat, die der da aufruft? Ich frage daher, da Google seit Tagen URLs bei mir aufruft die weitergeleitet werden (den Ursprung gab es aber noch nie) und zugleich auch welche aufruft, die einfach nicht stimmen. Auch diese gibt es in meinem System nicht und gab es noch nie!
z.B.
[02-May-2012 09:44:57] 404: _check_rangordnung_orte: /unterkuenfte/art-Ferienwohnungen/land-Italien/ort-Lindewitt/seite_1_1.html UA: Mozilla/5.0 (compatible; Googlebot/2.1; +https://beispiel.rocks/beispiel.rocks/www.google.com/bot.html) IP: 66.249.72.109
[02-May-2012 09:45:22] 404: _check_rangordnung_orte: /unterkuenfte/art-Ferienwohnungen/land-Polen/ort-Lindewitt/seite_1_1.html UA: Mozilla/5.0 (compatible; Googlebot/2.1; +https://beispiel.rocks/beispiel.rocks/www.google.com/bot.html) IP: 66.249.72.109
[02-May-2012 09:45:37] 404: _check_rangordnung_orte: /unterkuenfte/art-Ferienwohnungen/land-Ungarn/ort-Lindewitt/seite_1_1.html UA: Mozilla/5.0 (compatible; Googlebot/2.1; +https://beispiel.rocks/beispiel.rocks/www.google.com/bot.html) IP: 66.249.72.109
[02-May-2012 09:45:52] 404: _check_rangordnung_orte: /unterkuenfte/art-Ferienwohnungen/land-Irland/ort-Lindewitt/seite_1_1.html UA: Mozilla/5.0 (compatible; Googlebot/2.1; +https://beispiel.rocks/beispiel.rocks/www.google.com/bot.html) IP: 66.249.72.109
[02-May-2012 09:46:08] 404: _check_rangordnung_orte: /unterkuenfte/art-Ferienwohnungen/land-Belgien/ort-Lindewitt/seite_1_1.html UA: Mozilla/5.0 (compatible; Googlebot/2.1; +https://beispiel.rocks/beispiel.rocks/www.google.com/bot.html) IP: 66.249.72.109
[02-May-2012 09:46:23] 404: _check_rangordnung_orte: /unterkuenfte/art-Ferienwohnungen/land-Schweiz/ort-Lindewitt/seite_1_1.html UA: Mozilla/5.0 (compatible; Googlebot/2.1; +https://beispiel.rocks/beispiel.rocks/www.google.com/bot.html) IP: 66.249.72.109
[02-May-2012 09:46:39] 404: _check_rangordnung_orte: /unterkuenfte/art-Ferienwohnungen/land-Spanien/ort-Lindewitt/seite_1_1.html UA: Mozilla/5.0 (compatible; Googlebot/2.1; +https://beispiel.rocks/beispiel.rocks/www.google.com/bot.html) IP: 66.249.72.109
[02-May-2012 09:46:54] 404: _check_rangordnung_orte: /unterkuenfte/art-Ferienwohnungen/land-Kroatien/ort-Lindewitt/seite_1_1.html UA: Mozilla/5.0 (compatible; Googlebot/2.1; +https://beispiel.rocks/beispiel.rocks/www.google.com/bot.html) IP: 66.249.72.109
[02-May-2012 09:47:10] 404: _check_rangordnung_orte: /unterkuenfte/art-Ferienwohnungen/land-Paraguay/ort-Lindewitt/seite_1_1.html UA: Mozilla/5.0 (compatible; Googlebot/2.1; +https://beispiel.rocks/beispiel.rocks/www.google.com/bot.html) IP: 66.249.72.109
[02-May-2012 09:47:25] 404: _check_rangordnung_orte: /unterkuenfte/art-Ferienwohnungen/land-Tunesien/ort-Lindewitt/seite_1_1.html UA: Mozilla/5.0 (compatible; Googlebot/2.1; +https://beispiel.rocks/beispiel.rocks/www.google.com/bot.html) IP: 66.249.72.109
[02-May-2012 09:47:41] 404: _check_rangordnung_orte: /unterkuenfte/art-Ferienwohnungen/land-Schweden/ort-Lindewitt/seite_1_1.html UA: Mozilla/5.0 (compatible; Googlebot/2.1; +https://beispiel.rocks/beispiel.rocks/www.google.com/bot.html) IP: 66.249.72.109
[02-May-2012 09:47:56] 404: _check_rangordnung_orte: /unterkuenfte/art-Ferienwohnungen/land-Portugal/ort-Lindewitt/seite_1_1.html UA: Mozilla/5.0 (compatible; Googlebot/2.1; +https://beispiel.rocks/beispiel.rocks/www.google.com/bot.html) IP: 66.249.72.109
[02-May-2012 09:48:12] 404: _check_rangordnung_orte: /unterkuenfte/art-Ferienwohnungen/land-Slowenien/ort-Lindewitt/seite_1_1.html UA: Mozilla/5.0 (compatible; Googlebot/2.1; +https://beispiel.rocks/beispiel.rocks/www.google.com/bot.html) IP: 66.249.72.109
[02-May-2012 09:48:27] 404: _check_rangordnung_orte: /unterkuenfte/art-Ferienwohnungen/land-Luxemburg/ort-Lindewitt/seite_1_1.html UA: Mozilla/5.0 (compatible; Googlebot/2.1; +https://beispiel.rocks/beispiel.rocks/www.google.com/bot.html) IP: 66.249.72.109
Alles anzeigen
Also immer der selbe Ort, aber immer ein anderes Land.
Ich habe nun schon Sitemapgeneratoren, Xenu und sonst was über die Domain laufen lassen und diese URLs gibt es dort definitiv nicht. Den Ort schon, die Länder auch, aber nicht in dieser Zusammensetzung!
In den WMT steht rein gar nichts. Früher gab es da mal einen Punkt wegen Weiterleitungen, aber den gibt es nun auch nicht mehr.
Wie bekommt man denn nun raus, wo Google diese URLs her hat?