Beiträge von wolfgangpue

Besteht bei euch weiterhin das Problem? Mir kommt vor, dass sie die Rendering-engine überarbeitet haben. LazyLoading Images werden fast nur transparent dargestellt. Der Mobile Friendly Test von Google hat 9 von 10 mal immer eine Ressource nicht laden können welche nicht hinter Cloudfare liegt, sondern direkt auf meinem Server. Auf dem Server ist natürlich nichts gesperrt etc. Es kommt auch keine Anfrage für diese Ressource beim Server rein. Firewall deaktivert, Logs komplett aufgedreht. Mir kommt schon vor das OVH irgendwo noch ein Filtering davor hat und nicht immer alles durchlässt. Jetzt habe ich die Cloudflare für die Ressource dazwischen geschalten und der Mobile Friendly Test von Google läuft jetzt problemlos durch. Beim Rendern zeigt er jetzt auch keine Probleme mehr an. Bei zwei Seiten habe ich jedoch Cloudflare noch nicht dazwischen geschalten und dort kommen immer noch die gleichen Fehler. Dort regt er sich auch bei Ressourcen auf die auf Cloudflare liegen. Als ob er bei einem Ressourcenproblem auch Fehler bei anderen Ressource anzeigt.

Wie ist bei euch der Stand?

Die 2 verschiedenen UserAgents unterscheiden sich auch durch einen Cache-Header Eintrag soweit ich das aus anderen Quellen habe. Daher kann sein das der GoogleBot sich aus den Cache bedient und nicht deine Seite mehr aufruft, der SearchConsoleBot sehr wohl, da er keine gecachten Dateien zulässt. Und vielleicht liegt dort der Fehler im Cache bei Google.

Dort steht "Keine blockierten Ressourcen gefunden". Es kann ja nichts blockiert sein, da es ja ab und zu funktioniert und ab und zu nicht. Beim Mobile Friendly Test wird die Seite besser geladen, da ist meistens nur eine externe Ressource welche nicht geladen wird. Ansonsten lädt sie dort normal. In den Webmaster Tools hingegen wird die gleiche Seite bei 22 Renderaufrufen, 2mal als "Abgeschlossen", 5 mal als "Teilweise" und 15 mal als "Vorübergehend nicht erreichbar" angezeigt.

Die WebmasterTools arbeiten ja mit 2 verschiedenen UserAgents (GoogelBot 2.1, Search Console). Der MobileFriendly Test fragt nur mit einem UserAgent (GoogleBot 2.1) an.

Ok, der 404 Error bei robots.txt hat sich nur aufgeklärt. Der Googlebot versucht auch von der Subdomain static.domain.tld wo meine css und js liegen robots.txt abzurufen und nicht nur die von der Hauptseite https://beispiel.rocks/beispiel.rocks/www.domain.tld. Sobald ich die Datei erstelle auf der Subdomain ist der erste Request auf die robots.txt auch erfolgreich. In den Logs kann man leider die Subdomain von der Hauptdomain nicht unterscheiden. An den Google-Render Fehlern hat sich aber nichts geändert.

So nun habe ich ein paar zusätzliche Tests gemacht:

Cloudflare deaktiviert seit 2 Tagen. DNS läuft aber noch über Cloudflare. IP ist jetzt aber vom richtigen Server.
Fehler besteht weiterhin:

Was mir aber aufgefallen ist. Google rendert zwei Ansichten. Einmal aus der Sicht vom Googlebot und einmal aus der Sicht vom User.
Dafür werden auch jeweils unterschiedliche Requests an den Server gesendet:

GoogleBot sendet mit folgendem User-Agent: "Mozilla/5.0 (compatible; Googlebot/2.1; +https://beispiel.rocks/beispiel.rocks…le.com/bot.html)"
Ansicht für User (nenn ich mal UserBot) sendet mit folgendem User-Agent: "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko; Google Search Console) Chrome/41.0.2272.118 Safari/537.36"

Wenn ich nun eine Seite render und folgende Fehlermeldung kommt auf der Übersichtsseite: "Vorübergehend nicht erreichbar"
Dann hat der UserBot eine Anfrage an die Seite geschickt (so wie im ersten Post von Synonym), aber der Request vom GoogleBot fehlt. Daher kommten dann auch keine zusätzlichen Request.

Wenn die Fehlermeldung "Teilweise" kommt:
Dann haben UserBot und GoogleBot eine Anfrage an den Server geschickt aber der GoogleBot schickt keine Anfragen für die gelisteten Requests mit "vorübergehend nicht erreichbar" in der Detailansicht.

Ich habe auch einige externe Quellen drinnen welche auch nicht geladen werden können, daher betrifft es nicht nur meinen Server.

Aus meiner Sicht schickt der GoogleBot keine Requests, sondern nur der Userbot. In den Logs finde ich auch keinen Fehler, die auf einen Fehler auf meinem Server hinweisen.
Momentaner Konfiguration:
OVH Dedicated Server: Debian 8.11, ispconfig 3.1, nginx 1.13.0, php 7

Das einzige was mir jetzt aufgefallen ist was bei meinem Server nicht passt. Ich lasse zB eine Seite rendern dann zeigt mein Server beim ersten Request vom Googlebot ein 404 an, sofern die robots.txt abgefragt wird.
Diese wird aber nicht immer abgefragt. 3 Sekunden später bei einem erneuten Request von Google wird alles normal ausgeliefert. Error Logs sind aber alle leer. IPs sind auch nicht gesperrt. Firewall nicht aktiv.

66.249.65.92 - - [29/Oct/2018:10:06:34 +0100] "GET /robots.txt HTTP/1.1" 404 136 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://beispiel.rocks/beispiel.rocks…le.com/bot.html)"
66.249.65.150 - - [29/Oct/2018:10:06:37 +0100] "GET /robots.txt HTTP/1.1" 200 23 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://beispiel.rocks/beispiel.rocks…le.com/bot.html)"
66.249.65.109 - - [29/Oct/2018:10:06:37 +0100] "GET /robots.txt HTTP/1.1" 200 23 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://beispiel.rocks/beispiel.rocks…le.com/bot.html)"

Gibt es da schon ein Update. Ich konnte das Problem schon vor 5-6 Monaten feststellen. Mittlerweile leiden wir auch stark unter Rankingverlusten.

Bei mir ist die Seite wie folgt aufgebaut. Es handelt sich um eine Seite mit ca 50000 Seiten und auch genau so vielen Bildern. Bilder und Javascript werden per Lazy Loading nachgeladen und hier habe ich die Probleme, dass ab und zu gewisse Ressourcen nicht geladen werden können (Vorrübergehend nicht erreichbar). Die Ressourcen liegen aber bei Cloudflare, weil die auch noch dazwischen geschalten sind und das Caching für Skripte und Bilder übernehmen.

Vielleicht liegt das Problem beim Lazy Loading weil die Seite selbst wird ja immer geladen. Vielleicht hat der spezielle Renderbot Probleme das Javascript ordentlich zu verarbeiten. Er fordert zwar alle Ressourcen an, kann sie dann aber nicht abrufen/darstellen.