Ping-Endpunkt für Google Sitemaps wird eingestellt

Bisher war es ja üblich, dass vor allem CMS einen Ping sendeten, wenn eine Sitemap neu erzeugt wurde. Das klappte auch sehr gut. Manuell ging es ja auch recht einfach, wenn man schlicht die URL des Endpunktes und als Parameter die eigene Sitemap anhing.

Das ist bald Geschichte, Google wegen einer neues Sitemap anpingen geht nicht mehr. Google begründet es wegen "zu viel Spam" und stellt den Endpunkt für die Sitemap-Übermittlung ein. Wann genau ist unbekannt, voraussichtlich Mitte Dezember 2023.

Also das da geht dann nicht mehr:

www.google.com/webmasters/sitemaps/ping?sitemap=https://www.domain.de/pfad-zur-sitemap

Ab dann geht es, so wie Google sagt, nur noch per Eintrag in der Robots.txt oder als manuelle Meldung in der Search Console. Wobei da ja nur letztere übrig bleibt, denn die robots.txt ist ja keine Änderungsübermittlung, sondern nur eine Angabe, wo die Sitemap zu finden ist.

Naja, das war ja nur ein Zugriff. Ob Google das dann machte, war eine andere Frage. Meine Erfahrung damit ist, wenn man zu oft oder zu schnell pingt, dann ruft Google die einfach nicht ab.

Und sparen tun die sich so ja auch nichts, denn man muss / soll ja nichts an seinen Systemen ändern. Der Aufruf darf weiterhin erfolgen, nur wird der eben direkt ignoriert

Wenn das so geht, wäre das schön. Hier leider nicht wirklich. Ich habe Domänen, da wurde die Sitemap Tage und Wochen nicht neu verarbeitet. Gut, an denen ändert sich auch nicht ständig was, aber wenn mal, dann dauert das halt ewig, bis das mal bemerkt wird. Und bei meinen "Vergleichsportalen" ist das ähnlich. Das eine pinge ich täglich, die anderen alle nicht. Bei den anderen ist es genauso, dass die Sitemap teils über eine Woche alt ist, bis die mal erneuert wird. Die ältesten, die ich gerade auf die Schnelle gefunden habe, sind vom 4. und 8. Juli. Die, die ich pinge ist von gestern, also gestern 22 Uhr oder so.

Jo, das ist aber doof. Im Grunde ist mir das auch egal, wie und wann Google die abruft. Bedeutet ja dann auch noch lange nicht, dass die Seite selbst dann auch abgerufen wird. Aber hin und wieder ist das schon nützlich oder zumindest etwas, was halbwegs bei Google funktionierte. Habe auch Seiten, bei denen ändert sich über das Jahr hin nichts und dann 5-10 neue Artikel binnen 8 Wochen. Schön, wenn man das eben direkt melden kann, einfach, ohne Umwege per Indexing-Api oder so.

Bei meiner großen sende ich bisher halt einmal am Tag ne Sitemap. Gut, ändert sich auch jeden Tag was, aber so wichtig sind die Änderungen eigentlich nicht. Ich habe da aber den Eindruck, dass der Bot dann irgendwie kontinuierlicher kommt. Bei anderen Seiten, wo ich nichts melde, nur eine neue erstelle und fertig ist teils nach Wochen und auch Monaten im Status der Seite immer noch die Meldung "nicht verlinkt" bzw. "nicht in Sitemap gefunden". Klar, wie auch, wenn die nicht mehr abgerufen wurde.

Und gerade auch dieses manuell einreichen ist ja oft so ein Problem, siehe hier: Sitemap konnte nicht abgerufen werden Da mit bin ich nicht alleine, was die Zugriffe hier auf die Seite belegen. Und das passiert sehr gerne, auch wenn eine Sitemap vorher schon über Jahre hinweg funktionierte.

Im Grunde war das aber nur ein Post, weil ich durchaus denke, dass dann im Dezember einige dumm schauen werden, wenn das plötzlich nicht mehr geht. Ich glaube kaum, dass da jeder den Google-Blog gelesen hat

Das mit den alten Sitemaps geht sogar so weit, dass hier in der ABM, ich meine die GSC, sehr oft die Warnung steht, von wegen "gesendete Seite nicht gefunden". Naja, als die gesendet wurde, war die Seite da. Ich kann nix für, dass Google Wochen braucht und mittlerweile das Angebot gar nicht mehr da ist. Hätten die schlicht die neue Sitemap mal gelesen, hätten sie gemerkt, dass die bemängelte URL da gar nicht mehr drinnen steht. Ich habe da halt recht hohe Fluktuation, gerade im Bereich Angebote, Lastminute, Feiertag. Da gibt es Seiten teils nur einige Tage oder 1-2 Wochen, dann sind die wieder weg.

Danke Frank-L. Das sind leider so Dinge, die Seiten von mir von anderen unterscheiden, vor allem die Reise-Seiten. Bei der Geranienseite kann man das machen, dort ist die "Verkaufsseite" auch stärken Änderungen unterworfen, bedingt durch Lieferbarkeit und Jahreszeit. Das ist aber immer wieder die gleiche Seite, die kommt und geht. Also die geht quasi nie wirklich weg, denn da ist notfalls eigener Text drauf, auch wenn es keine Produkte gibt. z.B. jetzt im Moment. Da gibt es keine Sommer-Geranien mehr, Winter-Geranien kommen aber erst in einigen Wochen. Da ist aber an die 2 Seiten eigener Text zu drauf.

Bei den oben erwähnten ist das ganz anders. Da geht es um Regionen, Städte, Gemeinden und die Abhängigkeit besteht hier mit den Kunden / Unterkünften. z.B., stellt einer ein Angebot ein für ein Objekt in Dornumersiel, dann werden automatisch die Seiten "Angebote Ostfriesland", "Angebote Dornum" und "Angebote Dornumersiel" aktiviert, natürlich auch die normale Seite "Angebote". Die sind aber alle immer nur da, wenn es mindestens ein Angebot gibt. Bei der Übersicht "Angebote" ist eigentlich immer was da, also nicht das Problem, aber sobald es Region oder Ort wird, ist es problematisch. Da kommt es halt sehr oft vor, dass es da nur ein Angebot gibt für wenige Tage, dann Wochen und Monate keines, dann wieder ein anderes für wenige Tage. Und das dann bezogen auf ca. 5000+ Orte. Selbiges mit Feiertagen, wobei das da noch mehr fluktuiert. Also Silvester, Weihnachten, Ostern, Pfingsten etc. Im Januar gibt es sehr viel, das zu Silvester frei ist. Je später das Jahr wird, desto weniger wird es. Auch hier besteht theoretisch die Möglichkeit, dass das pro Feiertag an die 5000+ Orte betreffen kann.

Da ist das nicht wirklich möglich, für jeden möglichen Ort einen eigenen Text zu schreiben mit Kombination Ostern, Pfingsten, Angebot oder Lastminute. Das hatte ich anfangs mit einem automatisch generierten Text versucht und auch Objekten vor Ort, die aber keine Angebote waren, sondern "reguläre Produkte". Also so im Sinne, dass es da überhaupt was gibt, wenn einer drauf aufschlägt. Das hat gar nicht funktioniert. Google möchte das nicht. Die Folge war, dass auch die eigentlich rankenden Bereiche es plötzlich nicht mehr taten und die Seiten mit dem "Autotext" alle entweder als "Duplikat" oder als "Soft-404" eingestuft wurden. Das Schlimme war dann, dass die auch nicht mehr wiederkamen, wenn dann mal wieder richtige Angebote drauf waren, zumindest nicht binnen mehrerer Wochen. Daher fing ich dann vor einigen Jahren an, einfach einen 404 zu senden und später dann, wenn es wieder was gab, 200er und anpingen. Das ging eigentlich ganz gut, dauerte max. 3-5 Tage.

Um das nur mal an einem Ort zu verdeutlichen und es gibt je viele Orte, da wird sehr viel generiert. Alles abhängig von den Kunden, Zeiten, Feiertagen, Angeboten und eben regulär. -> Immenstaad

Unterkünfte Bodensee

Unterkünfte Obersee

Unterkünfte Baden-Württemberg

Unterkünfte Immenstaad

Das sind die regulären Seiten. Die ändern sich nur, wenn Kunden das System verlassen oder dazu kommen.

Dann gibt es da aber die ganzen anderen Kombinationen, wie:

Unterkünfte (Region / BL / Ort / Bezirk / Ortsteil) (Familie, Kinder, Senioren, Wanderurlaub, mit Hund, am See, Nichtraucher etc) (Ostern, Pfingsten, Weihnachten, Silvester) (Angebote, Lastminute)

Ich habe das jetzt nicht durchgerechnet, aber alles, was da in den Klammern steht, kann jeweils mit einem anderen kombiniert werden. Das werden sehr sehr viele dynamische Seiten. Also auch was wie "Lastminute Unterkünfte Immenstaad für Senioren mit Hund über Weihnachten".

Also wenn die wirklich von "neuesten Daten" reden, dann kann das ja nur das sein, was indexiert wurde und verarbeitet werden kann. Habe das eben mal mit Bing versucht, die ignorieren die Zeitvorgabe einfach und sortieren nach Preis pro Woche aus Portalen und deren normalen Unterkunftslisten.

Bard wäre interessant, aber das werden die auch nicht können, bzw. nicht so im Sinne von "das neueste". Was ich mir aber gut vorstellen kann ist beim SGE, was ja von "Bard" kommt, dass die die Api nutzen. Bei der Shoping-Api machen sie das ja schon. Also bei so was wie Unterkünften dann wohl die Hotel- oder Accomodation-Api. Was aber von vornherein schon bedeutet, der Großteil der Anbieter ist außen vor, denn die kommen gar nicht erst da rein. Da sind nur BigPlayer drinnen, Booking, AirBnB, Expedia, Tui und Co. Pflicht ist ja schon mal, dass man dann direkt über Google buchen können muss.