Google und URLs als Klartext

So, mir kommt so langsam die Vermutung, dass Google URLs in Textform (Klartext, kein a-href) auch ließt, auswertet und folgt...

Warum ich das denke? Weil ich nun schon seit Tagen die Fehlerseiten in den WMT durchgehe und immer wieder über das gleiche Phänomen stoße.

Google meldet Seiten als "404-Fehler" und dabei URLs, die so nie verlinkt waren. z.B steht bei einer Seite eine Liste von Webadressen, aber dort ist nichts verlinkt, sondern nur die URL als Text angegeben. Leider ist die gekürzt worden, da wohl zu lang. Google meldet genau diese URL.

Solche Seiten gibt es viele...

Ich habe in Javascript eine Var mit dem Inhalt "/addons/piwik/". Genau diese "URL" versucht Google ständig aufzurufen und meldet entsprechen einen 404.

Kann das sein oder ist das Zufall?

Also die Seiten sind garantiert nicht in den Google News, weder die Seiten, auf denen die "Links" stehen, noch die Zielseiten. Das sind normale Webseiten, bei den mal in den "Surftipps" eine URL steht. So Whois-Teile, mit Listen von Webadressen, Webkataloge etc... Sind aber auch ganz normale und saubere Seiten, die URLs zu Reiseinformationen angeben. Dort eine von mir, die es aber noch nie gab.. Weiß der Geier wo er die her hat... Google versucht die jedenfalls auch aufzurufen.

P.S. Alle diese Meldungen sind extrem seit dem 24.12.

Ich habe da aktuell ein ganz seltsames Gefühl, da passt derzeit zu vieles nicht. Einfach mal so an die 301-Geschichte gedacht, dann jetzt diese 404-Dinger und bei den "robots.txt-Fehlern" gehen mir auch die Alarmglocken an (über 28.000 Meldungen. Sonst waren das immer so um die 200). In den WMT sind heute auch wieder 2 Domänen als unbestätigt aufgetaucht, die vorher nicht da waren - gehören mir, sind aber nur Dummies und brauche ich in den WMT nicht.

Zitat

aber dass mit den links die keine links sind und 404 produzieren hab ich auch schon von anderen gehört.

Ja, aber um das zu tun muss man die ja aufrufen. Also URLs in Klartext erfassen und ausführen. Ich würde noch nicht mal was sagen, wenn die Fehlerseite einer aufruft und Google dann wegen dem Adsense gleich hinterher kommt, aber auf einigen ist gar kein Adsense drauf, da der Aufruf der URL zu einem Server-Fehler (Bad Request) führt... Sind dann URLs wie die hier: *** Link veraltet ***

Und das andere, das mit den robots.txt ist so was da:

AjaxRequest('/js/kalender-div.php?id='+field_id+'&y='+year+'&m='+month+'&f='+format, function(data)

Das wird innerhalb einer JS ausgeführt, die ist per robots.txt gesperrt. Die kalender-div.php ist auch gesperrt und Google schmeißt mir da nun über 28.000 Meldungen in die WMT von "year" 1 bis 3500 ... Das kann aber auch nicht sein, denn selbst wenn er die Seite aufrufen wurde, der Kalender geht nur 2 Jahre vor und zurück, ab dann geht nichts mehr.

mano_negra
An sich sind mir diese "Robots.txt-Fehler" ja egal, denn verhindern lassen die sich nicht wirklich bzw. sind eben normal. Doch jetzt nimmt das wirklich überhand und es macht keinen Sinn. Vorwort: Es ist bei mir kein Formular. Es ist eine Seite mit einem Kalender. Darüber ist eine Mini-Navigation mit "Monat vor" und "Monat zurück". Das geht immer nur 24 Monate in beide Richtungen ab dem aktuellen Monat. Ab dann verschwindet die Navi und mögliche URL-Eingaben werden auch verweigert.

So, nun habe ich in den WMT über 50.000 dieser Meldungen!

/js/kalender.php?id=db&y=3104&m=7 - URL durch "robots.txt" eingeschränkt     28.12.2011
/js/kalender.php?id=db&y=3103&m=11 - URL durch "robots.txt" eingeschränkt     28.12.2011
/js/kalender.php?id=db&y=3102&m=4 - URL durch "robots.txt" eingeschränkt     28.12.2011
/js/kalender.php?id=db&y=3102&m=5 - URL durch "robots.txt" eingeschränkt     28.12.2011
/js/kalender.php?id=db&y=3102&m=12 - URL durch "robots.txt" eingeschränkt     28.12.2011
/js/kalender.php?id=db&y=3101&m=9 - URL durch "robots.txt" eingeschränkt     28.12.2011
/js/kalender.php?id=db&y=3100&m=12 - URL durch "robots.txt" eingeschränkt     28.12.2011
/js/kalender.php?id=db&y=3100&m=11 - URL durch "robots.txt" eingeschränkt     28.12.2011
/js/kalender.php?id=db&y=3100&m=4 - URL durch "robots.txt" eingeschränkt     28.12.2011
/js/kalender.php?id=db&y=3101&m=10 - URL durch "robots.txt" eingeschränkt     28.12.2011
/js/kalender.php?id=db&y=3101&m=1 - URL durch "robots.txt" eingeschränkt     28.12.2011
/js/kalender.php?id=db&y=3100&m=2 - URL durch "robots.txt" eingeschränkt     28.12.2011
/js/kalender.php?id=db&y=3101&m=6 - URL durch "robots.txt" eingeschränkt     28.12.2011
/js/kalender.php?id=db&y=3101&m=2 - URL durch "robots.txt" eingeschränkt     28.12.2011
/js/kalender.php?id=db&y=3099&m=8 - URL durch "robots.txt" eingeschränkt     28.12.2011
/js/kalender.php?id=db&y=3099&m=9 - URL durch "robots.txt" eingeschränkt     28.12.2011
/js/kalender.php?id=db&y=3100&m=7 - URL durch "robots.txt" eingeschränkt     28.12.2011
/js/kalender.php?id=db&y=3098&m=11 - URL durch "robots.txt" eingeschränkt     28.12.2011
/js/kalender.php?id=db&y=3099&m=3 URL durch "robots.txt" eingeschränkt     28.12.2011

Wie gesagt, das sind reine URLs, kein Formular um was einzutippen. Auch werden scheinbar gültige Werte verwendet. Jahr (y) von 1000 bis aktuell 4200. Monat (m) immer von 1-12. Id wird gar nicht verändert. Scheint also so, als ob die Navi unendlich weiterlaufen würde, tut sie aber nicht.

Aber selbst wenn sie das täte, dann dürfte Google darauf gar nicht zugreifen, denn....

Hauptfile, das auch im Quelltext steht:
kalender.js -> das ist per robots.txt gesperrt.
Die kalender.js für einen Request durch und holt die Daten von kalender.php. Auch diese ist in der robots.txt gesperrt.

Also so:
Webseite
-> kalender.js
--> kalender.php
---> Mini-Navi zu kalender.php?parameter

Somit muss Google also erst einmal die "Sperranweisung" der .js missachten, um überhaupt an die .php zu kommen. Dort muss er die Sperranweisung dann auch missachten, um die ganzen .php?mit_parameter abzurufen... Das ist doch nicht normal und hat mit "beliebig Befüllen von Formularen" doch auch nichts mehr zu tun. Oder liege ich hier nun falsch?

Missachten in dem Sinne, dass er es zwar in den WMT meldet, die URLs aber dennoch aufruft und diese zuvor auch selbst so erstellt, denn im System gibt es die nicht und gab es die nie.

Den Kalender gibt es auch schon seit 5 Jahren, gab nie Probleme damit. Erst seit Weihnachten ist das so.

Wie gesagt, ist mir eigentlich egal, ich wollte die anderen Fehlermeldungen durchsehen und prüfen (URLs als Klartext, wie es im Titel steht), doch so habe ich keine Chance da in den WMT überhaupt etwas zu sehen, nicht bei über 50.000 Meldungen.

Ja, das ist es wirklich. Wenn ich meine eigenen Beiträge da mal so lese, dann würde ich auch fast denken "der spinnt", "unglaubwürdig" oder sonst was... Leider ist dem aber nicht so.... Ich habe die Sperrung in der robots.txt nun mal entfernt und die Datei umbenannt. Nun gibts bei jedem Zugriff einen 404... Freue mich dann ja schon drauf, wenn das andere "Log" in den WMT voll läuft

Das ist der entscheidente Teil vom kalender.js. Ausgelöst wird das "kalender_open" durch einen "onclick" auf der eigentlichen Webseite.

function kalender_open(field_id)
{
    // Vorhandene Box schließen
    if(kalender_opened)
    {
        kalender_close(kalender_opened);
    }


    kalender_opened = field_id;


    var cal = document.getElementById('cal_'+field_id);
    cal.style.zIndex = 30;
    var div = document.createElement("div");
    div.id = 'div_'+field_id;
    div.className = 'kalenderdiv';
    div.innerHTML = '<img style="" src="/js/mozilla_giallo.gif" width="32" height="32" class="borderfree" /> Lade Daten...';


    var closebutton = document.createElement("div");
    closebutton.id = 'close';
    closebutton.innerHTML = '<a href="javascript:void(0);" onclick="kalender_close('+field_id+');return false;"><b>[X]</b></a>';


    var kalenderbox = document.createElement("div");
    kalenderbox.id = 'kalenderbox';


    kalenderbox.appendChild(closebutton);


    div.appendChild(kalenderbox);
    cal.appendChild(div);
}


function kalender_load(field_id, year, month, format)
{
    [B]AjaxRequest('/js/kalender-div-neu.php?id='+field_id+'&y='+year+'&m='+month, function(data)[/B]
    {
        var newdiv = document.createElement("div");
        newdiv.innerHTML = data;
        var div = document.getElementById('div_'+field_id);
        div.innerHTML = '';
        div.appendChild(newdiv);
    });
}

So, bin dann mal gespannt, ob Google die neue URL nun wieder aufruft. So war es vorher auch, ist identisch, nur der Dateiname ist nun ein anderer.

So, WMT-Test bringt auch das gleiche wie zuvor:

Zitat

URL
/js/kalender-div-neu.js

Googlebot
Blockiert für Zeile 5: Disallow: /js/

Googlebot-Mobile
Blockiert für Zeile 5: Disallow: /js/

catcat
Nein, bisher gibt es im Ranking keine Veränderungen. Dennoch tut Google hier ja was, was er nicht soll / darf. Wäre mir egal, aber es verhindert halt alle anderen "Auswertungen" von Fehlern, die wirklich welche sind.

Zitat von guppy;11198

Und die Seiten sind verlinkt von? Also die WMT zeigen an, dass die Seiten von der eigenen Domain verlinkt sind und nicht von so einer Pseudosuchmaschine, die sich nicht an die robots.txt halten?

Gute Frage.... "Verlinkt von": "Nicht verfügbar"

Chris
Ja, Post und Get selbst füllen... Aber über Seiten, auf die gar nicht zugegriffen werden darf?

Wenn Google mir sagt, dass er die .js nicht aufrufen kann, da per robots.txt gesperrt, dann ist das logisch und verständlich, die steht ja auch im Quelltext. Wenn der mir aber dann sagt, dass die .php nicht darf, dann nicht mehr, denn die ist nur in der .js als AjaxRequest enthalten. Selbiges die "weiterführenden" Links der Monate, diese sind nur in der .php, die ja ihrerseits in der .js ist.

Es muss auf der eigentlichen Seite also ein "onclick" durchgeführt werden, das dann eine JS-Funktion startet. Diese JS-Funktion lädt dann die Daten der .php (ajax) und bindet sie in die Seite ein.

Deep-Crawling ist ja schön und gut, aber man muss dem doch sagen können: "Eh lass die Finger von der Seite und von den dort enthaltenen verlinkten Seiten und deren Links."

Zumal das ja alles keine vollwertigen Seiten sind, sondern eben nur Rohdaten, die per JS in die Seite dann integriert werden (ein Div mit 2 Monatskalendern). Der Aufruf der .php direkt führt zudem zu Fehlern, da das benötigte Javascript ja gar nicht geladen wurde und die Funktionen für den Kalender und die Navigation gar nicht verfügbar sind.

Der Output von der kalender.php (auf die er nicht zugreifen darf!) schaut so aus:

<div id="kalenderbox"><div id="close"><a href="javascript:void(0);" onclick="kalender_close('dv');return false;"><b>[X]</b></a></div><div class="nav">&lt; Jahr &lt; Monat  -  <a href="javascript:void(0);" onclick="kalender('dv','2012','2','ddmmyyyy');return false;">Monat &gt;</a> <a href="javascript:void(0);" onclick="kalender('dv','2012','12','ddmmyyyy');return false;">Jahr &gt;</a></div><div class="kalendermonat">
<table>
<tr>
<th colspan="7" class="monat_jahr">Dezember 2011</th>
</tr>
<tr>
<td class="wtag werktag">Mo</td>
<td class="wtag werktag">Di</td>
<td class="wtag werktag">Mi</td>
<td class="wtag werktag">Do</td>
<td class="wtag werktag">Fr</td>
<td class="wtag samstag">Sa</td>
<td class="wtag sonntag">So</td>
</tr>
<tr>
<td class="anfang" colspan="3">&nbsp;</td>
<td class="we"><a href="javascript:void(0);" onclick="ins('dv','01.12.2011');return false;">1</a></td>
<td class="we"><a href="javascript:void(0);" onclick="ins('dv','02.12.2011');return false;">2</a></td>
<td class="wo"><a href="javascript:void(0);" onclick="ins('dv','03.12.2011');return false;">3</a></td>
<td class="wo"><a href="javascript:void(0);" onclick="ins('dv','04.12.2011');return false;">4</a></td>
</tr>
<tr>
<td class="we"><a href="javascript:void(0);" onclick="ins('dv','26.12.2011');return false;">26</a></td>
<td class="we"><a href="javascript:void(0);" onclick="ins('dv','27.12.2011');return false;">27</a></td>
<td class="we"><a href="javascript:void(0);" onclick="ins('dv','28.12.2011');return false;">28</a></td>
<td class="we"><a href="javascript:void(0);" onclick="ins('dv','29.12.2011');return false;">29</a></td>
<td class="we"><a href="javascript:void(0);" onclick="ins('dv','30.12.2011');return false;">30</a></td>
<td class="wo"><a href="javascript:void(0);" onclick="ins('dv','31.12.2011');return false;">31</a></td>
<td class="ende" colspan="1">&nbsp;</td></tr>
<tr><td class="ende" colspan="7">&nbsp;</td></tr>
</table>
</div>
<div style="clear:left;"></div></div>

Nur hier, im oberen Bereich, gibt es die Navi der Monate als onclick="kalender('dv','2012','2','ddmmyyyy');return false;" . Um weiter zu kommen muss man also dieses onclick auch ausführen. Was dann aber auch nichts bringt, da die Funktion kalender() gar nicht geladen ist.

Wenn der Wertenereich von 24 Monaten überschritten ist, dann ist die Navi gar nicht mehr da. Also ein onclick="kalender('dv','2016','2','ddmmyyyy');return false;" gibt es nicht, schon gar kein 4200!

catcat
Ist ja auch richtig, ich beachte den Bereich auch nicht sonderlich, aber ab und zu schon. Eben diese "Backlink" die keine echten sind, Google aber dennoch abruft, die stehen nur da. Auch hab ich da nun schon einige echte und gute Backlinks gefunden auf Seiten, die es bei mir gar nicht gibt (vielleicht mal 2005 oder so). Die zeigte mir kein Backlinkchecker an, die WMT schon, eben im Bereich 404-Fehler.

So, wieder zurück zu dem eigentlichen Thema, Links in Klartext im Content.

Für mich habe ich nun den Beweis, dass Google normale URLs als Text im Content erkennt und auch verfolgt, was auch für die ganzen Meldungen in den WMT spricht (nicht die robots.txt-Geschichte).

Habe vor zwei Tagen auf meiner Startseite einfach mitten in den Text folgendes geschrieben:
https://beispiel.rocks/beispiel.rocks…de/urlauben.php
Ebenso Datei angelegt und eine Benachrichtigung integriert, wenn einer (egal wer) darauf zugreift.

Und, heute um 8:57 Uhr kam die SMS:

Zitat

UA: Mozilla/5.0 (compatible; Googlebot/2.1; +https://beispiel.rocks/beispiel.rocks…le.com/bot.html) IP: 66.249.66.231 END