Crawling beschleunigen

Alex07

In den Webmaster Tools von Google gab oder gibt es das Tool Crawling zu beschleunigen bzw abzubremsen. Hab jetzt nicht nachgeschaut.
Irgendwie ist das auch sinnfrei, oder?
Wenn sich viel an einer Webseite ändert wird öfters gecrawlt und je mehr Links auf eine Seite verweisen umso tiefer wird geschaut ob sich was getan hat.
Der Crawler ist ja nicht blöde.
Manchmal kann man das auch anstossen das das Crawling für neue Inhalte beschleunigt wird und in den Index aufgenommen werden kann.

Synonym

Zitat

Irgendwie ist das auch sinnfrei, oder?

Nicht unbedingt. Wenn der Server ohnehin an der Leistungsgrenze ist oder da sehr leistungsintensive Programme laufen, dann macht das schon Sinn, den Bot zu bremsen. Der muss dann ja nicht jede Sekunde eine Seite aufrufen, reicht dann vielleicht ja auch alle 5 Sekunden. Selbiges bietet Yahoo und Bing z.B. auch an.

Margin

Zitat

Wenn sich viel an einer Webseite ändert wird öfters gecrawlt und je mehr Links auf eine Seite verweisen umso tiefer wird geschaut ob sich was getan hat.

Falsch verstanden

Es geht nicht darum, wie schnell neues gekrault wird, sondern darum, wie ressourcenfressend das Käfertier auf Deinem Server rumaast :pieks:

Alex07

will das mal ausschliessen das der server zu lahm ist.
es geht ja auch darum wie man überarbeitete sachen zB bei einem relaunch schnell in den index blasen kann.
aber sicher, macht auch sinn wenn man zu oft gecrawlt wird und dann ne möglichkeit hat das zu verlangsamen.

macht schon sinn dann.

Synonym

Du bist etwas auf dem falschen Weg oder ich lese falsch. Das hat mit "schnell in den Index blasen" oder "zu oft gecrawlt wird" nichts zu tun. Die Angabe bezieht sich rein auf den Zeitabstand, den der Bot einhält / sollte, wenn er von einer Seite zur nächsten geht. Das sind aber eben auch nur Minimalwerte, keine Maximalwerte. Du kannst den damit nicht schneller machen, das entscheidet Google selbst. Du kannst nur eine Höchstgeschwindigkeit festlegen. Ob diese überhaupt erreicht wird obliegt Google selbst.

P.S. 99% der normalen Nutzer brauchen diese Einstellung nicht, aber in speziellen Fällen macht es eben Sinn zu drosseln.

Alex07

kapischt
dachte es gäbe da einen zusammenhang von crawl geschwindigkeit ( auch manipulation ) und indizierung.

und wieder was gelernt über crawling.

Frank-L

AW: Crawling beschleunigen

Zum schnellen Indexieren habe ich mir jetzt eine Domain mit Wordpress und Rss-Feed Klauer gebastelt. Auf die Startseite viele viele Links drauf geballert. Die Unterseiten von der Domain sind für die Bots gespeert. Forenfeeds eingefügt und Feeds von meinen selten aktualisierten Seiten. Die Feeds der Foren bringen minütlich neue Inhalte für die Domain, der Bot ist ständig da, seit nunmehr einem halben Jahr. Wenn nun neue Inhalte auf den selten aktualisierten Webseiten kommt ist dieser binnen 15min online, manchmal sogar weniger Sekunden. Je nachdem ob der Feed gerade aktualisiert wurde..
Klappt bisher wunderbar und ersparrt mir manche manuelle arbeit.