"Abruf wie durch Google" kaputt?

    Hallo,

    habe auch mit einigen Webseiten, dass Problem mit Abruf und Rendern.

    Ich bin auch schon lange auf der Fehlersuche. Ich habe merhere Vermutungen. Eventuell pflegt Google nicht mehr die alte Version des Abruf+Rendern Bot. Und diese wird in Zukunft durch die neue Search Console Version abgelöst. Hier gibt es ja bereits etwas änhliches, den Mobile Friendly Test. Da läuft zumindestens bei mir alles problemlos durch, keine blockierten Ressourcen. Ebenfalls ohne Probleme, das Tool Google Page Speed Insights. Dort im Snapsot Thumb rechts (kleiner Computer) sieht die Webseite jedenfalls okay aus.

    Oder liegt es an einem Timeout, z.B. aufgrund langer Ladezeiten der Webseiten. Dauert es länger als z.B. 5 Sekunden, dann bricht der google bot das Rendern+Abrufen ab. Eventuell wird dann standardmäßig, der Fehler "Teilweise" oder "vorrübergehend nicht erreichbar" ausgegeben (obwohl alles erreichbar). Ich glaube, dass der Google Bot fürs Rendern sich vom Crawler Caffeine unterscheidet und länger als 5 Sekunden bleibt um eine Webseite samt Ressourcen vollkommen zu erfassen.
    Interssant wäre es zu wissen, welche Einstellung eurer Server bei "Keep Alive timeout" hat bei mir sind es "Keep Alive timeout=3 max=100". Diese Informatione könnt Ihr z.B. unter "Abrufen" Heruntergeladene HTTP-Antwort: im oberen Teil finden.

    Eine andere Möglichkeit wäre, dass ein Problem beim cachen von Webseiten entsteht. Einige Caching Plug-ins bieten funktionen wie dass minfizieren von .js, .css und Bild Ressourcen an. Je nach Einstellung wird der Cache nach einer gewissen Zeit geleert und neu aufgebaut. Manche Plug-ins ändern dabei auch Pfade und Dateinnamen jedesmal anders. Vielleicht greift google bei Abruf+Rendern intern auf eine gecachte Version der Webseite zurück. Diese ist aber nicht mehr aktuell, da dass Cache Plugin inzwischen einen neuen Cache angelegt hat, mit anderen Pfaden/Dateinamen etc...
    Hier wäre es interessant zu wissen, welche Caching Plug-ins Ihr verwendet. Bei mir ist es WP-Rocket.

    Alles interessante Ansätze, aber keines davon wird es wohl sein. Wenn schon, dann eher Option 1, also dass der nicht mehr gepflegt wird.

    Alles andere ist möglich, aber z.B. bei mir absolut nicht zutreffend, denn: CSS und JS sind statisch. Da ändert sich nichts, wenn ich da nichts ändere. Kein WP, kein CMS, kein dynamischer Cache, kein nichts, teilweise ganz normales HTML Ladezeiten sind bei ca. 0,5 Sekunden, also kein Problem. Der Timeout vom Test-Bot ist pro Request 15 Sekunden (Aussage Google).

    Ansonsten, bei mir: Keep-Alive: timeout=5, max=100

    Und, was ich ja im ersten Post schrieb. Die bemängelten Dateien, die angeblich nicht aufgerufen werden können, die werden vom Bot abgerufen und vom Server ganz normal mit Status 200 ausgeliefert. Schaue mal bei Dir nach, ob die Dateien wirklich fehlten oder ob die ausgeliefert wurden.

    Wenn ein Mensch nicht um dich kämpft, hat er nur gewartet, dass du gehst. ;(

    So nun habe ich ein paar zusätzliche Tests gemacht:

    Cloudflare deaktiviert seit 2 Tagen. DNS läuft aber noch über Cloudflare. IP ist jetzt aber vom richtigen Server.
    Fehler besteht weiterhin:

    Was mir aber aufgefallen ist. Google rendert zwei Ansichten. Einmal aus der Sicht vom Googlebot und einmal aus der Sicht vom User.
    Dafür werden auch jeweils unterschiedliche Requests an den Server gesendet:

    GoogleBot sendet mit folgendem User-Agent: "Mozilla/5.0 (compatible; Googlebot/2.1; +https://beispiel.rocks/beispiel.rocks…le.com/bot.html)"
    Ansicht für User (nenn ich mal UserBot) sendet mit folgendem User-Agent: "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko; Google Search Console) Chrome/41.0.2272.118 Safari/537.36"

    Wenn ich nun eine Seite render und folgende Fehlermeldung kommt auf der Übersichtsseite: "Vorübergehend nicht erreichbar"
    Dann hat der UserBot eine Anfrage an die Seite geschickt (so wie im ersten Post von Synonym), aber der Request vom GoogleBot fehlt. Daher kommten dann auch keine zusätzlichen Request.

    Wenn die Fehlermeldung "Teilweise" kommt:
    Dann haben UserBot und GoogleBot eine Anfrage an den Server geschickt aber der GoogleBot schickt keine Anfragen für die gelisteten Requests mit "vorübergehend nicht erreichbar" in der Detailansicht.

    Ich habe auch einige externe Quellen drinnen welche auch nicht geladen werden können, daher betrifft es nicht nur meinen Server.

    Aus meiner Sicht schickt der GoogleBot keine Requests, sondern nur der Userbot. In den Logs finde ich auch keinen Fehler, die auf einen Fehler auf meinem Server hinweisen.
    Momentaner Konfiguration:
    OVH Dedicated Server: Debian 8.11, ispconfig 3.1, nginx 1.13.0, php 7

    Das einzige was mir jetzt aufgefallen ist was bei meinem Server nicht passt. Ich lasse zB eine Seite rendern dann zeigt mein Server beim ersten Request vom Googlebot ein 404 an, sofern die robots.txt abgefragt wird.
    Diese wird aber nicht immer abgefragt. 3 Sekunden später bei einem erneuten Request von Google wird alles normal ausgeliefert. Error Logs sind aber alle leer. IPs sind auch nicht gesperrt. Firewall nicht aktiv.

    66.249.65.92 - - [29/Oct/2018:10:06:34 +0100] "GET /robots.txt HTTP/1.1" 404 136 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://beispiel.rocks/beispiel.rocks…le.com/bot.html)"
    66.249.65.150 - - [29/Oct/2018:10:06:37 +0100] "GET /robots.txt HTTP/1.1" 200 23 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://beispiel.rocks/beispiel.rocks…le.com/bot.html)"
    66.249.65.109 - - [29/Oct/2018:10:06:37 +0100] "GET /robots.txt HTTP/1.1" 200 23 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://beispiel.rocks/beispiel.rocks…le.com/bot.html)"

    ok, das mit DNS von Cloudflare, daran kann es nicht liegen. Cloudflare liefert dann ja direkt an den Server. Das ist ja schonmal richtig. Finde das aber mit dem 404 komisch, das kann ich mir so auch nicht erklären. Datt is ja richtig komisch.

    wenn etwas möglich erscheint mach ich das, wenn das nicht klappt gehts ans unmögliche und ansonsten das undenkbare.

    - nun stolz rauchfrei - Ich denke also Bing ich!

    Support 24h Bereitschaft 0173 6107465 - NUR Für Kunden von SEO NW!

    Ok, der 404 Error bei robots.txt hat sich nur aufgeklärt. Der Googlebot versucht auch von der Subdomain static.domain.tld wo meine css und js liegen robots.txt abzurufen und nicht nur die von der Hauptseite https://beispiel.rocks/beispiel.rocks/www.domain.tld. Sobald ich die Datei erstelle auf der Subdomain ist der erste Request auf die robots.txt auch erfolgreich. In den Logs kann man leider die Subdomain von der Hauptdomain nicht unterscheiden. An den Google-Render Fehlern hat sich aber nichts geändert.

    Dort steht "Keine blockierten Ressourcen gefunden". Es kann ja nichts blockiert sein, da es ja ab und zu funktioniert und ab und zu nicht. Beim Mobile Friendly Test wird die Seite besser geladen, da ist meistens nur eine externe Ressource welche nicht geladen wird. Ansonsten lädt sie dort normal. In den Webmaster Tools hingegen wird die gleiche Seite bei 22 Renderaufrufen, 2mal als "Abgeschlossen", 5 mal als "Teilweise" und 15 mal als "Vorübergehend nicht erreichbar" angezeigt.

    Die WebmasterTools arbeiten ja mit 2 verschiedenen UserAgents (GoogelBot 2.1, Search Console). Der MobileFriendly Test fragt nur mit einem UserAgent (GoogleBot 2.1) an.

    jo und da würde ich mir dann auch keine Sorgen machen. Solange der überall ohne richtigen Probleme hinkommt und dann bei dem "Abruf wie durch Google" nur spinnt... also es ist sehr wahrscheinlich das da Google selbst ein Problem hat.

    Warum die uns da in Unklaren lassen und uns ein wenig verrückt machen, verstehe ich auch nicht. Auf jeden Fall ist es so, das es keinen gemeinsamen Nenner gibt. Denn viele meiner Seiten steigen einfach im Ranking aktuell und ich habe das auch mit den Problemen in der Search Console.

    Timeout kann eigentlich auch ausgeschlossen werden, ich weiss nicht was die da Programmiert haben. Es ist schlecht von Google das nicht zu kommunizieren, warum das so bei eigentlich Allen??? ist. Einfach nur traurig....

    wenn etwas möglich erscheint mach ich das, wenn das nicht klappt gehts ans unmögliche und ansonsten das undenkbare.

    - nun stolz rauchfrei - Ich denke also Bing ich!

    Support 24h Bereitschaft 0173 6107465 - NUR Für Kunden von SEO NW!

    Der normale UA von Google ist der normale Google-Bot. Der macht das, was man unter "So sah der Googlebot die Seite:" sieht. Der andere, der "Google Search Console", der ist für die Ansicht "So hätte ein Besucher Ihrer Website die Seite gesehen:" zuständig.

    Und die Fehler, auch in der Darstellung, sind immer im Bereich ""So sah der Googlebot die Seite:"". Im meinem Fall aktuell eine Header-Grafik und ein CSS-File,

    Beim ersten Test wieder, "Teilweise", beim zweiten "Vorrübergehend nicht erreichbar" obwohl beim zweiten Abruf (genau wie beim ersten) alles geladen wurde.

    P.S. der normale Bot kommt nicht immer vorbei, wenn man die gleiche Seite zeitnah erneut abruft, dann kommt nur der "Google Search Console".

    Angeblich waren

    /addons/cookieconsent/dark-bottom-new.css

    und

    /bilder/webseite/ferienunterkuenfte-ruegen-header-bild-2.jpg

    nicht erreichbar. Was man aber aus den Logs erkennt, dass sie es waren.

    Wenn ein Mensch nicht um dich kämpft, hat er nur gewartet, dass du gehst. ;(

    Die 2 verschiedenen UserAgents unterscheiden sich auch durch einen Cache-Header Eintrag soweit ich das aus anderen Quellen habe. Daher kann sein das der GoogleBot sich aus den Cache bedient und nicht deine Seite mehr aufruft, der SearchConsoleBot sehr wohl, da er keine gecachten Dateien zulässt. Und vielleicht liegt dort der Fehler im Cache bei Google.

    In der neuen Oberfläche geht das unter "Url-Prüfung". Prüft man sie und sie ist nicht im Index, wird ein "jetzt indexieren" vorgeschlagen. Ist sie im Index, wird vorgeschlagen sie neu indexieren zu lassen. In der alten Oberfläche geht es nicht, aber in der Neuen. Wenn das mal nicht ein gewollter Bug ist, um die Herde in die richtige Richtung zu treiben. ;)

    Edit: Jau, und wie gewohnt binnen von Sekunden im Index. Wird nicht mehr lange dauern und die alte Oberfläche wird abgeschalten. ;)

    Ja Lunte, das stimmt. Problem nur bei der neuen Console, dass man die Seite dort nicht rendern lassen kann und genau um das geht es ja. Der normale Abruf ohne rendern geht in der alten auch fehlerfrei.

    Wenn ein Mensch nicht um dich kämpft, hat er nur gewartet, dass du gehst. ;(

    Moin zusammen,

    bis gestern hatte ich das gleiche Problem, wie hier beschrieben wurde. Scheinbar hat Google jetzt etwas gefixed. Zumindest lässt jetzt die problematische Domain vollständig und erfolgreich rendern.


    Gruß
    Steffen

    Deaktiviere evtl. mal dein Cache-Plugin, leere den Cache und lasse Google noch einmal rendern
    Das habe ich kürzlich testweise gemacht. Vielleicht gibt es da ja einen Zusammenhang (wo auch immer der liegen soll :).

    Besteht bei euch weiterhin das Problem? Mir kommt vor, dass sie die Rendering-engine überarbeitet haben. LazyLoading Images werden fast nur transparent dargestellt. Der Mobile Friendly Test von Google hat 9 von 10 mal immer eine Ressource nicht laden können welche nicht hinter Cloudfare liegt, sondern direkt auf meinem Server. Auf dem Server ist natürlich nichts gesperrt etc. Es kommt auch keine Anfrage für diese Ressource beim Server rein. Firewall deaktivert, Logs komplett aufgedreht. Mir kommt schon vor das OVH irgendwo noch ein Filtering davor hat und nicht immer alles durchlässt. Jetzt habe ich die Cloudflare für die Ressource dazwischen geschalten und der Mobile Friendly Test von Google läuft jetzt problemlos durch. Beim Rendern zeigt er jetzt auch keine Probleme mehr an. Bei zwei Seiten habe ich jedoch Cloudflare noch nicht dazwischen geschalten und dort kommen immer noch die gleichen Fehler. Dort regt er sich auch bei Ressourcen auf die auf Cloudflare liegen. Als ob er bei einem Ressourcenproblem auch Fehler bei anderen Ressource anzeigt.

    Wie ist bei euch der Stand?

    Bei mir sind die Fehler immer noch, auch in der neues Search-Console. Und witzig, weil Du es ansprichst. Die neuen Fehlversuche waren alle für Dateien, die bei Cloudfare liegen (CSS und Bilder eben). Aber auch bei denen ohne hat sich nichts geändert. Mit LazyLoad habe ich allerdings keine Probleme. Da ist eigentlich immer alles da, es sei denn, es kommt dieser komische Fehler, dann ist es aber egal, ob LazyLoad oder nicht.

    Wenn ein Mensch nicht um dich kämpft, hat er nur gewartet, dass du gehst. ;(