richtige robots.txt

Wirken tun die Links nicht, folgen würde ich denen trotzdem, wäre ich ein Bot von google.

"nicht folgen" = "nofollow" Attribut in den Metas
ansonsten: *** Link veraltet ***
für ganz hartnäckige kannste es auch in der htaccess sperren

*** Link veraltet ***

wenn Du wenigstens Deine Fragen mal sorgfältiger formulieren würdest ...

Oder anders: Gib Dir Mühe mit der Frage,
dann macht sich jemand vielleicht auch die Mühe einer Antwort.

Zitat

dass die Links einer in der robots.txt gesperrten Unterseiten Unterseite verfolgt werden?

Nein, werden sie nicht. Google hält sich in aller Regel an die robots.txt und greift auf die Unterseite gar nicht zu. Folglich werden die dort enthaltenen Links nicht verfolgt, da gar nicht bekannt.

Meines Wissens funktioniert das nur solange, wie niemand auf die freundliche Idee kommt, einen Links zu setzen.

Zitat von Margin

Meines Wissens funktioniert das nur solange, wie niemand auf die freundliche Idee kommt, einen Links zu setzen.

Ja die URL wird indexiert und als Titel wird der Linktext genutzt, der Cache ist aber leer.

Jein. In dem Fall folgt die Aufnahme in den Index, aber ohne Inhalt, sondern mit dem Satz, dass "der Zugriff durch die robots.txt blockiert wurde". Also auch dann wird nicht gelesen und nicht verfolgt. Zumindest sagt Google das, wobei ich dem eigentlich zustimmen kann. Habe den Spider noch nie auf einer gesperrten Seite entdeckt.

*** Link veraltet ***

Genau das Verhalten meine ich und dort steht es ähnlich wie oben geschrieben:

Zitat

dass die entsprechende URL passend zum gesuchten Linktext in den Suchergebnissen auftauchen kann. (Der Inhalt der Seite ist Google immer noch nicht bekannt, da dieser nicht gecrawlt und indexiert wurde!)

Google nimmt die Seite auf, aber ohne Daten von der Seite selbst. Treffer resultieren rein aus den Linktexten. Kannste selbst testen. Mach eine Seite mit Thema A und sperre die. Setze Links drauf mit einem ganz anderen Thema B und die Seite wird mit den Linktexten bzw. deren Relevanz gefunden werden, nicht aber mit dem Thema des Inhalts selber.

Die robots.txt ist ja nicht dazu gedacht, Suchergebnisse zu verhindern, sondern um den Zugriff auf die Seite zu untersagen. Wobei das, ohne Links auf die Seite, auch zu den verhinderten Suchergebnissen führt.

Edit: Post von Lunte hatte ich vorhin übersehen.

Margin
Sieht man bei mir im Kundenbereich sehr schön. Da sind Links im Index, weil Kunden Direktlinks zu bestimmten Bereichen gesetzt haben. Diese URLs sind im Index. Genau dies spricht auch dafür (ohne in Logs zu sehen), dass Google die Seite nie aufgerufen hat, denn hätte Google das getan, dann hätte er bemerkt, dass da entweder ein 301 oder ein 404 kommt, da Google keinen Login besitzt.

Zitat

Margin

KAW hatte gefragt

ich weiß

Mir ist nach wie vor nicht wirklich klar, welchen Zielzustand Du in letzter Konsequenz erreichen willst.
Soll indexiert werden?
Soll nicht indexiert werden?
Soll nur der Link verfolgt werden?
...

Hatte auch ein wenig mit dem Noindex gespielt und meine persönliche Feststellung war das dann eh alles weitere wirkungslos war. Da steht zwar follow drin, aber irgendwas vererbt wird da nix, die dahinter liegenden Seiten kommen nicht einmal in den Index.

Ich für mich hatte es bei Wordpress so, das ich die Artikel immer mit so einem "Break"

<-- more --> oder so..

nach 200-300 Zeichen versehen hatte, welches als Snippet dann in den Kategorien kommt und eben nicht der komplette Text. Alternativ kann man ja auch etwas Anderes für diesen Vorschautext schreiben.
Auf Index hatte ich aber nur einen Typus der Archive gesetzt. Die Tags, Datumsarchive und das ganze andere Zeug auf Noindex. Einzig die richtigen Kategorien liefen bei mir über index/follow.