Nö, missverständlich nicht. Ich hatte nur den Zusatz "und ob etwas hinzuzufügen galt" eben genau so gedeutet. Also neuer Cache, wenn was hinzugefügt wurde / werden musste. Genau dem ist aber nicht der Fall, daher schrieb ich das oben. Der wird auch so neu gebildet.
Das weitere wird mir nun zu kompliziert..... Eine Suma kann nicht auf alles zugreifen, weil sie nicht alles kennt. Daher gibt es ja so was wie Sitemaps und Co, damit man denen sagen kann, wo was zu finden ist. Wie soll eine Suma auf einer sonst brachliegenden 1-Mio-Seiten-Domain denn einen neuen Post auf Ebene 57 finden? Klar, irgendwann wird sie das, vielleicht aber auch erst in 3 Jahren. Es kommt da also immer drauf an, wie oft auf die vorgelagerte oder eben die verlinkende Seite zugegriffen wird. Und je tiefer (Klicktiefe) es geht, desto langsamer wird es in der Regel.
Man kann aber davon ausgehen, dass auf fast alles auf normalen Seiten zugegriffen wird. Ob das dann auch gecrawled und / oder indexiert wird, das sind zwei andere Themen. Das passiert ja nicht auf einmal, das sind 3 verschiedene Prozesse, mit Cache sogar 4.
Nur das so zu erkennen ist fast unmöglich. Da müsste man jeden Zugriff in den Logs auswerten. Dafür gibt es aber so was wie die WMT, denn da steht das ja drinnen.
Bei meiner HuH z.B. hat an die 9.000 Seiten im Index. Weitere fast 60.000 sind "gefunden aber nicht indexiert". Das sind Seiten, die Google also kennt, auch irgendwo gespeichert hat, sonst könnte er mir die Liste ja nicht anzeigen, aber eben die URLs nicht im Such-Index haben will - warum auch immer. Dann gibt es sicherlich noch welche, die Google gar nicht kennt.
*** "warum auch immer". Sumas behalten sich halt vor, nicht alles aufzunehmen. Und ja, das kollidiert irgendwie mit Deinem "Und die geht klar gegen den Anspruch von Sumas das Web möglichst in seiner Gänze abzubilden, faire Verhältnisse für alle zu schaffen." Wobei das Problem ja alle haben, allerdings die einen mehr als die anderen.
Das ist alles verständlich, aber der normale User sieht das leider anders. Du hast Recht mit dem, was Du sagtest, habe aber aktuell auch erst bis "blaue Schuhe" gelesen.
Die User wollen das doch so. Du nicht, ich nicht, andere nicht, aber Du bist da ausgeklammert bzw. hast Dich ja selbst aus der Gruppe der "normalen User" ausgenommen. Der normale User will das genau so haben! Da braucht es noch nicht mal was wie "Lastminute und Schweissfuss", da kann man auch normale Kombis nehmen wie "Ferienwohnung Bodensee". Es gibt schon einen Grund, warum man da mit "Ferienwohnung" sucht. Google liefert aber immer auch Ergebnisse (oder nur) mit "Ferienhaus". Neuerdings auch mit Pension. Bei Ferienhaus stört das die User noch nicht mal, bei Pension aber schon, das sehe ich an der Absprungrate. Die klicken noch auf das Suchergebniss, Google hat seinen Klick also, aber auf meiner Seite dann hauen sie ab. Was sollen sie da auch. Sie wollen eine möglichst große Auswahl an Ferienwohnungen am Bodensee, eventuell auch "nur Häuser", was aber auch schon ein Problem sein kann, aber Google liefert die Zielseite mit drei Pensionen. Naja, was denkt sich der User dann? Richtig. Unbrauchbar, weg, nächstes Ergebnis.
Sehe das aktuell auch hier. Suche viel technisches wegen einem Serverausfall. Suche extra nach Strings mit "". Das sind alles Fehlermeldungen, die auch Fehlercodes enthalten. Teils auch so wirre Buchstaben- Zeichen-Kombinationen. Was liefert Google? Alles mögliche. Meist lese ich das auch noch durch um dann am Ende zu merken: Scheiße, das ist nicht Debian, sondern CentOS oder nicht Fehlercode XXX, sondern XXY. Aber das sind Feinheiten, ganz spezielle Dinge. Bei 99% aller anderen Suchanfragen normaler User funktioniert das so, wie Google das macht. Bzw, der User kennt es halt nicht anders.
Und das ist auch nicht nur bei den Suchmaschinen so. Unterkunftsportale, um z.B. mal traum-ferienwohnungen zu nehmen, haben das genauso. Da sucht einer nach "Ort".... Bei Google steht das sogar auf Platz 1. Dann ist man auf deren Seite und "Ort" gibt es in dem Portal gar nicht. Angezeigt werden Unterkünfte in Orten aus der Umgebung. Die User wollen das zum Großteil oder merken es nicht.
Ich übernehme das in den Fall nicht von Google, sondern von meinen langjährigen Erfahrungen aus dem IT-Bereich und Supporter für normale User. Und die jüngeren unter denen wurden noch schlimmer bzw. die, die erst neu dazu kamen, egal welches Alter. Gib denen doch mal ein Handy in die Hand, lass die was für "sie normales" suchen und als Ergebnis kommt nichts.... Die drehen doch sofort am Rad.
"Die User wollen das so" und ..."es springen viele ab" ist ja schonmal ein Widerspruch in sich.
In meinem Fall und Beispiel mit den Ferienwohnungen und Pensionen ist das in der Tat so bzw. auch wieder nicht. Google liefert da Mist aus, unbrauchbar für den User, aber das ist er gewohnt. Dafür macht der nicht Google verantwortlich, sondern den Seitenbetreiber. Schau doch mal solchen Usern zu, vor allem, wenn sie mit dem Handy surfen. Die klicken alles an. 5, 10 15 Ergebnisse und zack wieder zurück zur Suche. Die schauen nicht wie wir die Snippets an und überlegen, was könnte denn sinnvoll sein. Nee, die Klicken. Und wenn ich schreibe "die springen gleich wieder ab", dann ist das sogar ein Nachweis dafür. Denn warum sollten sie "Pensionen" anklicken, wenn sie denn "Ferienwohnungen" wollen? Die haben es schlicht nicht beachtet, unqualifizierter Traffik eben. Das Snippet ist da, also wird geklickt.
"Die wollen..." im Sinne von, die wollen Ergebnisse, beschäftigt werden. Ob der Treffer dann sinnvoll ist, das wissen sie ja erst hinterher. Im Grunde wie im lokalen Bereich. Da gehen die auch in alle mögliche Läden und suchen einen Artikel. Wenn sie auch noch einen fragen (Suma), wo es das gibt und der sagt in Laden XY (Suchergebnis), dann gehen die da rein (Webseite), auch wenn vielleicht sofort klar sein müsste, dass es dort nicht gibt oder sie zumindest falsch geleitet wurden. Also drinnen, kurz geschaut, wieder raus. Gedanke "Scheiß Laden, der hat das nicht". Vielleicht hat er es wirklich nicht, vielleicht aber auch einfach in einer anderen Etage. Also auch genau die Leute, die blind auf ein Navi vertrauen.
Bei Bing-Usern ist das ganz anders. Die sind viel zielstrebiger, dafür würden die zu großen Teilen aber auch gar nicht auf "Pensionen" klicken.
hab oben editiert.
Klar ist da eine Konditionierung dabei. Du müsstest es eigentlich noch kennen, als bei einer Suche einfach nichts kam. Also ich kenne das sehr gut, das teilweise auch nur, weil ein Schreibfehler drinnen war. Das kennen die Leute von heute aber nicht mehr, daher schrieb ich auch was wie "junge und welche, die neu anfangen".
Mir persönlich wäre auch lieber es käme nichts, wenn ich was Eindeutiges suche. Dem ist aber nicht mehr so, eben wieder leidlich erlebt. 20 Seiten gelesen um dann mal eine zu finden, bei der es überhaupt um Apache ging. Aber die "jungen" haben anscheinend die Zeit dafür.
Andererseits ist das mit dem Nichts auch doof teilweise. Merke ich auch immer wieder mal, aber in anderen Bereichen, z.B. Awin und Co. Suche da was und es kommt nix. Erster Gedanke: "Warum kommt da nix? Nach was muss ich suchen?"
Ich hab mal geguckt, zu "Lastminute + Schweissfuss" hab ich unter "Ferner liefen" ein einziges halbwegs relevantes Ergebnis gefunden, welches sich jedoch in dem unnötigen Scheiss völlig verlor.
Dabei ging es darum, dass einer aus einem Flugzeug geworfen worden war, weil er furchtbar gestunken haben muss. Er hatte dagegen geklagt und Schadensersatz gefordert. Und er hatte seine Klage verloren. 
Da siehste mal wieder die Datencenter-Unterschiede. Das Ergebnis bei Google war schon gestern da, der Cache auch. Datiert auf den "22. Okt. 2021 17:57:13 GMT".
Vergiss doch mal dieses topaktuell in Bezug auf Dein Forum. So funktioniert das Internet nicht, auch keine Suchmaschinen oder Bots. Für so was gibt es notfalls RSS-Feeds oder Push-Nachrichten. Wenn es topaktuell sein soll, dann muss auch das Umfeld passen. Die Frage wäre alleine schon, warum ist das "Topaktuelle" in einem Forum, in einem Unterordner versteckt, aber auf der eigentlichen Domain ist von den topaktuellen Infos nix zu finden.
Deine Domain fängt nicht auf der Startseite vom Forum an oder beim ersten Post eines neuen Threads, sondern auf der Startseite der Domain.
Um was schnell in den Index zu bekommen, muss die Seite auch entsprechen oft hochwertigen neuen Inhalt liefern, am besten mehrfach täglich. Hat sie das nicht, dann kann der Content vom Inhalt her noch so aktuell sein, die Suma wird das nicht merken, weil sie schlicht nicht auf der Seite war.
Ja, so ist das nunmal, das stimmt. Sumas sehen das aber nunmal anders 
Auch wenn ein Thema hochaktuell ist bringt das nix, wenn das veröffentlichende Medium das nicht ist - nicht aus Sicht der Suma. Das wäre als wenn man einen brandaktuellen Artikel in einer Zeitschrift veröffentlicht, die nur einmal im Monat gedruckt wird und der letzte Druck gestern war.
Und ich finde es nicht normal, dass manche Sites im 10minutentakt gespidert und aktualisiert werden und bei anderen monatelang kein Bot vorbeischaut. Das ist reine Willkür.
Das ist keine Willkür. Was sollen sie denn anders machen? Du hattest doch auch was von Huhn und Ei geschrieben. Kommt hier auch bei raus. Jeder einzelnen Seite einen Intervall geben, z.B. von 12 Stunden und dann neu abrufen? Ja, dann wären alle gleich. Nee stopp, doch nicht, denn wie findet man dann neue Seiten? Also muss man alles neu abgrasen. Jede Domain jederzeit komplett abklappern? Nicht sinnvoll, denn es macht schon einen Unterschied, ob da im Minutentakt was kommt oder alle paar Wochen. Wobei, auch das geht nicht, noch nicht mal das mit den 12 Stunden. Sollen alle weltweit zum gleichen Zeitpunkt abgerufen werden? Müsste man, sonst hat man ja dennoch ein Zeitfenster von 12 Stunden. Der eine kommt vielleicht schon in 2 Min dran, der andere war erst, kommt erst wieder in 11 Stunden 59 Minuten.
Liest Du Zeitungen jeden Tag, wo nur alle 3 Wochen mal ein neuer Artikel kommt? Anfangs vielleicht, dann wirst Du Dich auch auf andere konzentrieren, die schneller sind, wo jeden Tag was Neues ist. Und wenn Dich die Zeitung gar nicht interessiert, auch wenn sie jeden Tag was Neues hat, dann liest Du sie gar nicht mehr. Das sind bei Sumas z.B. erkannt Spamseiten.
Nix anderes machen Sumas. Suchen wo es was Neues gibt und priorisieren, wo sie öfters Erfolg haben und wo nicht.
Das Forum hier: Dein Thread wegen dem "scrollen ab Seite 4 bei Google", obwohl da auch von mir extra noch Posts dabei waren, dauerte 3 Tage, bis er im Index war. Dein Post wegen Facebook, 4 Tage alt, nicht im Index. Dein "Neues vom Vulkan", ist vom Samstag, nicht im Index. "Betriebssystem zurücksetzen", von letzter Woche Mittwoch, fast 7 Tage alt, nicht im Index. Dein Post bezüglich Cookie-Banner im "Alles bestens" vom 18.10., nicht im Index. Die anderen vom 17.10. und älter sind es.
Wegen Startseite: Dann schau Dir mal SEO NW (seo-nw.de) an. Da sind die letzten Aktivitäten als auch die letzten Beiträge drauf. Aber das ist noch kein Garant für eine Aufnahme, denn das ist nur ein Ausschnitt der letzten. Kommen zu viele neue auf einen Schlag, dann rattern die eventuell durch und keiner hat es bemerkt. Auch hier ist es also die Frage, wie oft der Bot kommt. Beispiel von meiner FN. Habe 7 Unterkünfte aktiviert, die neuesten drei davon stehen als "Neuzugänge" auf der Startseite, die anderen 4 wurden durchgereicht. Im Index sind die neuen drei. Die anderen neuen 4 fehlen komplett. Ein Lastminute-Angebot vom 19.10. fehlt auch. Bis das im Index ist, ist es wohl schon zeitlich beendet.
Die Frage mit Semrush ist nicht rhetorisch. Wollte schon was zu schreiben, hatte es dann aber gelassen. Das ist schlicht was ganz anderes. Die Spidern eine Site, rufen den Quelltext ab, suchen darin Links und speichern die. Das machen sie immer wieder um zu prüfen, ob er noch da ist, ein neuer da ist, oder eine neue Seite gefunden wurde.
Das macht Google auch. Daher sagte ich schon mal, Du müsstest als aller erstes herausfinden, wie oft Google überhaupt auf Deiner Seite ist. Als Anmerkung, Pagespeed.de von Alex kann das auch. Eine Seite oder eine Hand voll vorgeben und dann lass ihn drauf los. Suche alle Links die da sind, folge allen, suche wieder, folge, suche etc.
So, Semrush ist permanent bei Dir, bei mir auch. Also nicht immer, aber wenn, dann gerne mal Tage und dann wieder Tage nicht. Warum? Weil die Seiten schon bekannt sind, da werden also bekannte abgesucht und deren Links gefolgt. Stellst Du eine komplett neue Seite ein, dann werden die da nicht kommen, denn sie kennen sie nicht. Sie lernen sie irgendwann kennen, wenn verlinkt und Link gefunden, aber auch das dauert. Oder warum meinst Du, warum selbst die besten Linkchecker auch nur einen Bruchteil der Links finden oder eben nur ein Bruchteil davon überhaupt stimmt? Weil auch dort die Daten "alt" sind. Es kann nicht alles jetzt sofort geprüft werden. Diverse Tools zeigen mir hier noch Links an, die gibt es schon 5 Jahre oder länger nicht mehr.
So, und weil Du immer sagst, alles wäre nur eine Vermutung.... Klar ist es das, wie vieles im Leben. Es ist auch nur eine Vermutung, dass ich sterbe, wenn ich aus dem 20ten Stock springe. Kann mir schließlich vorher keiner beweisen, dass dem so ist.
So, die Bots.... Semrush haben wir nun. Google und alle anderen machen erst mal in Phase 1 das Gleiche. Nur dass Googles Datenbasis wohl um Faktor 1000 Mio größer sein dürfte, aber egal. Dieser Step 1 ist der einfachste, aber auch der ist limitiert. Alles gleichzeitig geht nicht, man kann keine mehrere Milliarden Webseiten zur gleichen Zeit abrufen. Selbst wenn das gehen würde wären das ja nur die bekannten und nicht die neuen. So oder so, die neuen Seiten muss man suchen. Wie oft will man denn suchen? Eben war ich da, es war nichts neu. Jetzt, 2 Min später vielleicht? Also noch mal schauen. Wieder nicht. Soll ich gleich noch mal?
Du gehst zu Lidl um zu sehen, ob was neues im Sortiment ist. Nee, ist nicht. Gehst Du dann 10 Min später gleich noch mal hin um nachzusehen?
So, immer noch Step 1. Der einfachste, aber limitiert, auch bei Semrush und Co.
Google hat aber noch Step 2, 3 und 4 und da kommt nun noch mehr Last. Step 1 war nur Quelltext abrufen und auswerten. Das ist Traffik für den Quelltext und Rechenleistung für die Auswertung. Also Step 1b... Sonstige Inhalte abrufen. Bilder, CSS, JS, Video etc. Jetzt haste schon mal richtige Datenlast, die z.B. Semrush nicht hat. Dann haste also die Rohdaten. Also Step 2, rendern ist angesagt, also die Webseite so zusammenbauen, wie sie im Browser ist. Nun ist fast nur Rechenleistung gefragt. Deine Domain hat wie viele Seiten inkl. Forum? Also alle URLs, die es irgendwie gibt und erzeugt werden? Ich würde mal grob schätzen 1500. Wenn Du alles zeitgleich willst, dann mach doch mal im Browser 1500 Tabs auf und lass den rendern
So, Step 3 und 4 (Seite auswerten und Cache) lass ich nun mal weg.
Alleine schon der Gedanke, zeitgleich von jeder Webseite auch nur ein Bild zu laden ist unmöglich. Unmöglich im Sinne von "nicht sinnvoll". Alle Seiten einer Domain laden.... Das wird lustig. Wenn Google das machen würde, dann wärst Du sicherlich auch einer der Ersten, der fragen würde, warum stürzt mein Server ständig ab. Naja, weil Google halt die ganzen Ressourcen braucht, die Dein Server so hergeben kann.
Also sind wir wieder an dem Punkt "Ressourcenverteilung" und "priorisiert einsetzen". Eine Ampelschaltung an einer Kreuzung ist auch unterschiedlich und abhängig davon, ob es eine Haupt- oder eine Seitenstraße ist.
So, neue Seiten, die muss man erst finden. Dafür gibt es z.B. auch so was wie Sitemaps, damit es einfacher ist. Man muss dann halt nicht die ganze Domain absuchen, sondern nur die Datei lesen. Aber wie oft? Auch hier, es wird priorisiert. Davon gibt es ja auch nicht nur eine oder 10, das sind Milliarden. daher auch der Ansatz mit "IndexNow". Das spart im Grunde (oder könnte) alle Zugriffe sparen, denn die erfolgen nur, wenn was Neues gemeldet wird. Also geht man auch nur in den Lidl, wenn das neue Prospekt da ist, in dem die Neuheiten drinnen stehen.
"Könnte Google nicht einfach schlicht die Kapazitäten erhöhen, um dem Anspruch, den sie in die Köpfe der User implantiert haben, gerecht zu werden?"
NEIN! Um alles irgendwie in Echtzeit zu haben nicht, nein und nimmer. Selbst wenn Google und andere da Serverfarmen in der Größe von Ländern hinstellen, das könnte die Infrastruktur bis hin zu den kleinen popligen Servern der Webmastern gar nicht.
Es geht doch nicht nur um Google. Google hängt auch nur am "Netz". Oder hat Google zu Deinen Webseiten eine eigene Leitung gelegt? Also so wie die Überseekabel, die quasi von Google alleine genutzt werden?
Unser Knotenpunkt in Frankfurt ging schon in die Knie, als zu viel Traffik kam, Wasserversorgungen brachen zusammen, weil alle zur Halbzeit beim Fußball aufs Klo rennen, Handys gehen nicht mehr, weil alle Silvester um 0 Uhr Nachrichten schicken und telefonieren.
Kann man das erweitern, also wäre es technisch möglich? Ja, wäre es. Man kann sich auch einen D-Schlauch in den Garten legen, um seine Rosen zu gießen. Wäre das sinnvoll? Nein.
