Also zu Deinem ersten Teil mit dem Beispiel unnatürlicher Link würde ich sagen, nein, Google wird hier nicht unterschätzt. Meiner Meinung nach braucht das auch nicht sonderlich viel Rechenleistung, denn es muss nicht alles gleichzeitig erfolgen.
Also dem ist nicht der Fall bzw. technisch nicht erforderlich:
Zitat
Bei jeder automatischen Beurteilung eines Links, müssten praktisch alle eingehenden und ausgehenden Links von einer Seite, deren "Linkpartner", dann wieder deren "Linkpartner" ermittelt, eingeschätzt werden und bei jeder Suchabfrage ausgewertet werden.
Das kann ja mitunter über viele Ebenen der linkgebenden und linkempfangenen Seiten gehen.
Mal davon ausgehend:
Zitat
Als Beispiel, ein Link wirkt unnatürlich, also soll sich Google angeblich auch um
- alle anderen verlinkten Seiten kümmern, ob diese Links natürlich sind
- die eingehenden Links der Seite näher betrachten, die eben diesen unnatürlichen Link gesetzt hat
- die eingehenden Links der Seite näher betrachten, die verlinkt wurde
- die Links, die eben die Seiten bekommen haben, welche auch die Seite mit den unnatürlichen Link verlinkt haben
und so weiter.
Das könnte so laufen.
- Eine Webseite wird gefunden per normalem Bot. Diese landet in der Datenbank mit sämtlichen Strukturen und ausgehenden Links. Das ist eigentlich die Hauptarbeit an der Sache und hat mit "unnatürlichen Links" noch nichts zu tun.
- Ein anderes "Modul" / "Script" oder was auch immer, wie man es nennen möchte, wertet die ermittelten Links aus. Dabei fällt einer auf, der als "unnatürlich" eingestuft wird.
- Hier kann man für die Zielseite also direkt einen Flag setzen und später dann die Mail raushauen. Oder eben einen Zähler hochzählen, wie viele unnatürlich sind.
- Die anderen eingehenden Links oder die anderen ausgehenden der linkgebenden Seite sind dabei egal, denn diese Daten wurden ja schon vom Bot erfasst.
Das war jetzt sehr vereinfacht, das kann man auch noch ausführlicher machen oder tiefgreifender. Letztendlich sind das aber nur Vergleiche vorhandener Daten und das ist bei einer guten Datenbank und Struktur nicht sonderlich rechenintensiv. Was Google braucht ist massig Speicherplatz.
Aber ja, nicht alles wird automatisch gemacht. Vieles muss wohl auch manuell angestoßen werden. z:b. Seiten, bei denen es keine eindeutige automatische Entscheidung gibt, weil der Algo zu doof ist. Die legt man dem Prüfer halt vor. Findet der was, z.B. einen unnatürlichen Link, dann beginnt der Kreislauf. Ist wie bei der Post mit beschädigten Adressaufklebern. Die Briefe landen beim Prüfer, der macht eine neue Kennung drauf und dann geht der Brief zurück in den normalen Kreislauf.
Zitat
der Engpass ist ja die Datenübertragung.
Auch das ist kein Problem. Dafür hat Google ja seine zahlreichen Datencenter und eigene Glasfaseranbindungen. Aber dennoch dauert es, bis alles übertragen ist. Das ist ja der Grund, warum die verschiedenen DC teilweise unterschiedliche Inhalte haben.
Zitat
Für wirklich immer echte Vergleiche aller eingehenden und ausgehenden Links ( um nur mal bei den Links zu bleiben, gibt ja noch andere Dinge, wo vor allem die Aktualität eine große Rolle spielt, wenn es um zeitnahe aktuelle Thema auf der ganzen Welt geht ) müsste ja ständig das ganze Internet mit ihren bots abgegrast werden.
Das tut der Bot ja auch, nur ist der halt nur für die Datenerfassung zuständig. Dass nicht alles von jetzt auf gleich geht ist klar, das dauert, bis alles durch ist. Und intelligent ist der ja auch in der Hinsicht, dass er den Besuch entsprechend der Häufigkeit der Datenänderung anpasst. Merkt der, dass sich da über Monate oder Jahre nichts tut, dann kommt der auch nicht mehr jeden Tag vorbei, sondern vielleicht nur noch jede Woche. Aber auch das ist letztendlich nur eine Auswertung von Zahlen.
Mal so eine Zahl in den Raum geworfen, auch wenn die schon etwas älter sind: "Steven Levy berichtet von heutzutage circa 20 Milliarden Webseiten, die pro Tag indexiert werden"
Zitat
Dafür müssen sie aber eben auch fremde Datenleitungen, eben das Internet, nutzen und da sind eben die Enpässe.
Nicht unbedingt. Google greift ja von vielen verschiedenen Punkten aus auf das Netz zu. Also verteilt sich das schon mal und legt nicht eine Leitung lahm. Dann hat Google sicherlich andere Anbindungen als wir. Die hängen wohl direkt am Backbone.
Hier stehen zwar keine Zahlenwerte, aber die Infrastruktur so im Groben:
*** Link veraltet ***