In den WMT gibt es den Bereich "Status". In dem Bereich findest Du zwei Punkte die interessant sind.
Zum einen den Punkt "Blockierte URLs". Unter diesem Punkt zeigt Dir das WMT oben im Feld die aktuell geladene robots.txt an. Unten drunter ist ein Feld mit der Überschrift "URLs Geben Sie die URLs und User-Agents für den Test an. ". Dort kannst Du eigene URLs Deiner Seite eintragen. Unten dann auf den Button "Test" klicken. Das WMT zeigt Dir dann, ob die abgefragten URLs von der robots.txt gesperrt sind oder nicht. Wenn die robots.txt Fehler hat, dann zeigt Google die unten als Ergebnis auch an. Könnte z.B. so aussehen:
URL: https://beispiel.rocks/beispiel.rocks/www.domain.de/
Googlebot: Zugelassen. Als Verzeichnis erkannt; bestimmte Dateien weisen eventuell unterschiedliche Einschränkungen auf.
Und der zweite Punkt ist der "Abruf wie durch Google" (nicht Google-Bot, hatte mich da vertippt, ist aber das gleiche). Oben in der Adressleiste einfach den Pfad eingeben, in Deinem Fall z.B. die robots.txt. Dann auf "Abrufen" klicken und warten. Unten in der Liste erscheint dann der Abruf, wenn er fertig ist. Rechts bei "Abrufstatus" kannst Du dann die Details ansehen.
Als Ergebnis müsste was in der Art kommen:
Abruf wie durch Google
Dies ist die Methode, mit der der Googlebot die Seite abgerufen hat.
URL: [B]https://beispiel.rocks/beispiel.rocks/www.domain.de/robots.txt[/B]
Datum: Montag, 4. März 2013 22:10:30 GMT-08:00
Googlebot-Typ: Web
Download-Zeit (in Millisekunden): 213
HTTP/1.1 200 OK
Date: Tue, 05 Mar 2013 06:10:30 GMT
Server: Apache
Last-Modified: Mon, 04 Mar 2013 19:23:36 GMT
ETag: "5064192-382-4d71e4b1c9e00"
Accept-Ranges: bytes
Cache-Control: max-age=0, public, must-revalidate, proxy-revalidate
Expires: Tue, 05 Mar 2013 06:10:30 GMT
Vary: Accept-Encoding
Content-Encoding: gzip
Content-Length: 344
Keep-Alive: timeout=5, max=1000
Connection: Keep-Alive
Content-Type: text/plain; charset=UTF-8
User-Agent: *
Disallow: /reise-forum.html
Disallow: /js/
Disallow: /tests/
Disallow: /demo/
Disallow: /homepage/
Disallow: /hausprospekt/
Disallow: /hausprospekte/
Disallow: /kundengaestebuch/
Disallow: /service/
Disallow: /output-extern/
Disallow: /addons/socialbutton/js/
Alles anzeigen
Das mit dem "User-agent" ist in der robots.txt selbst. Ganz oben die erste Zeile nach den Kommentaren (User-agent: *). Das müsste "User-Agent" heißen, also "User-Agent: *".
Schau aber erst mal in den Blockierte URLs, ob dort die richtige und aktuelle robots.txt angezeigt wird. Kann sein, dass Google eine alte hat.
Aber wie gesagt, es kann auch ein Fehler bei Google sein, denn ich bekam gestern auch einen, heute jedoch nicht mehr und meine robots.txt ist identisch, die wurde schon Monate nichts mehr geändert.