Google will FTP-Login

unglaublich. wieso will der denn per ftp rein die olle schnüffelnase

Wie jetzt? der Bot geht auf *** Link veraltet *** los? in den Webmastertools ein Zugang geben und ne robots.txt in den root legen ?
Aber an sich ist das ne Unverschämtheit und scheinbar ein vielfach auftretendes Problem, habe gerade mal gesucht.:down:

Unverschämtheit? Das ist ja schon irgendwie kriminell - was hat Google den am ftp Zugang zu suchen

Is doch ganz einfach, die glauben mittlerweile einen Freifahrtsschein zu haben und werden deshalb immer dreister.

Siehe auch hier:

Die haben mittlerweile erkannt, dass die Webmaster nicht blöd sind, sondern, dasse saublöd sind und sich ALLES gefallen lassen.

das gehört glaub auch eher in das Google Forum, das ist ja nicht so unbedingt ein Programierproblem

Jo, Margin, blind vor Wut....

Zitat von Margin;42409

Obendrein gilt "offen" ja dann auch nicht nur für Google sondern für alles, was da draußen kreucht und fleucht.

Nein, da habe ich mich falsch ausgedrückt, Du kannst in den Webmastertools speziell für den googlebot das Passwort mitteilen, wenn die site dort aufgeführt ist. Die Idee ist auch nicht von mir, habe ich beim überlesen der Problematik in einem anderem Forum als die für mich verständlichste empfunden.
Was ich davon halte, ist eine ganz andere Geschichte.

So, dann mische ich mich da nun auch mal ein und stelle gleich mal eine blöde Frage. Warum ist Dein FTP denn überhaupt per URL erreichbar, wenn doch nicht öffentlich? Wenn es eine Sub ist und Du auch eine brauchst, so wie guppy oben geschrieben hatte, dann ändere die doch einfach ab.

Das andere ist. Google wird doch sicherlich keinen User / Passwort senden, oder? Wenn dem so ist, dann verbiete doch einfach nur diese Zugriffe und gut. Fehllogins sind ja eher mit falschen Zugangsdaten und nicht gänzlich ohne.

Also:
Login ohne Zugangsdaten einfach verweigern.
Login mit falschen Zugangsdaten erfassen und ab Anzahl X in der Firewall sperren.

Zitat

dann sollte doch der Bot zumindestens so intelligent programmiert sein, dass er es checkt, wenn er irgendwo mal NICHT rein darf.

So, mal nüchtern betrachtet. Das ist leichter gesagt als getan, egal ob Google oder ein normales Script eines Webmasters. Wenn der auf URI 1 zugreift und ein "Verboten" bekommt, dann kann er das speichern, wenn er will. Wenn er dann aber über URI 2 kommt, dann ist das eine andere und könnte frei sein. So einfach ist das also nicht.

Ich gehe mal davon aus, dass Dir meine Antwort nicht wirklich schmecken wird, aber so sehe ich den technischen Weg zur Lösung.

Nachtrag: Wie habt Ihr das denn gelöst? Mit Fail2ban oder einer FTP-eigenen Lösung? Was ist das denn für ein FTP, vsftp, wuftp, proftp, sftp oder was?

Ich frage daher, da man dem fail2ban ja beibringen kann, auf welche Logeinträge er reagieren soll. Also "falsches Passwort" ja, "falscher Benutzer" ja, "ohne Benutzerdaten" nein. Das hängt aber vom eingesetzten FTP-Server ab.

z.B. bei sftp: danach könnte man die Filter einrichten

Zitat

Korrekt: Accepted password for USER from IP port 64018 ssh2
Falsche Passwort: Failed password for USER from IP port 64039 ssh2
Falscher Benutzer: Failed password for invalid user USER from IP port 64043 ssh2
Anonym: USER anonymous: no such user found from IP

* Anonym stammt vom proftp, da sftp das gar nicht zulässt.

na da haben die kiddys ja ein neues Betätigungsfeld, da gibt es doch bestimmt so einiges zu entdecken mit allinurl: ftp.

Wie meinste das Guppy? Das ist doch nicht neu, dass ftp-Adressen im Index sind. Man denke da nur an die ganzen Downloadserver der OS-Anbieter, Server-Entwickler, Virenscanner etc. Die sind alle per FTP erreichbar und im Index. Ist ja auch der Sinn davon.

Margin, ja hier läuft was aus dem Ruder.

Zitat

nur weil Google durchaus absolut gängige Sicherheitseinstellungen nicht passen.

Die Sicherheitsmaßnahmen kennt Google aber nicht und greift deshalb zu. Wenn das bei Dir vorher nicht so war, dann liegt das jetzt aber nicht an Google, dass das neu ist, sondern an was anderem. Irgendwo ist ein Link dahin aufgetaucht. Google greift schon immer auf FTP zu, siehe mein Post oben. Nur wie gesagt, die Sicherheitsmaßnahmen der Server kennt Google nicht, die folgen einfach nur den Links. Ich selbst habe mit mod_security auch schon Google ausgesperrt, weil die schneller auf der Seite unterwegs waren, als ich in der Config erlaubte.

Zitat

Mit welchem Recht stellen die mich vor die Entscheidung: Server auf oder keine Indexierung? Denn genau darauf läuft es erstmal raus.

Nein, das tun sie nicht und ist auch nicht erforderlich. Ohne falsche Logindaten muss keine Sperre erfolgen. Und wie gesagt, ich gehe davon aus, dass Google keine sendet. Ansonsten kann eine Sperre auch für x Minuten sein und nicht für immer.

Zitat

Übrigens glaube ich nicht, dass ich mit dem Problem eine Ausnahme bin und ich denke, dass auf diesem Weg schon so manches Dokument in den Index gewandert ist, was der Inhaber auf seinem Webspace für sicher wähnte.

Bist Du auch nicht. Wie gesagt, das macht Google schon immer. Und Dokumente wandern nur in den Index, wenn der FTP anonym zugänglich ist. Ist dies der Fall, dann liegt ein Fehler der Config vor oder Absicht.

"FTP-Speicher" ist doch nichts anderes wie "HTML-Speicher". Das sind Files, die öffentlich zugänglich sind (und in den Index wandern können) oder eben nicht öffentlich zugänglich sind.

Bei Dir ist nur der Punkt anders, dass Du auf dem Server eine Prüfung auf fehlerhafte Verbindungsversuche für SSH, ftp etc hast. Würdeste das auch machen mit fehlerhaften Seitenaufrufen (404 bzw. Access Denied), was ja die Script-Kiddys auch oft verursachen/auslösen, dann wäre Google hier auch ganz schnell ausgesperrt.

Der googlecrawler spricht den Server seit Wochen auf Port 21 an.
Das die das machen mag ja welche Gründe auch immer haben.
Nach dem 2ten LoginVersuch mit dem Usernamen 'anonymous'
geht die IP in Iptables für eine bestimmte Zeit in DROP.
Kurz danach kommen die wieder mit na anderen IP -> DROP.

Was mich wundert:
Wie lange brauchen die bis die merken das das nicht geht
und wie kommen die auf die Idee das da nen anonymer FTP-acc ist?

Hab die Regeln jetzt so gesetzt, das der DROP nur portbezogen läuft.
Also die IP wird nur für FTP gesperrt.

Meine Theorie:

Die testen einfach blind durch und wenn Du meckerst sagen Sie, irgendwo
im Web hätten se gefunden das da ein public-FTP sein könnte.
Das Gegenteil kann ich nicht beweisen, aber glauben muss ich das nicht.
Wenn die Tür zu ist, warum dann mehrmals am Tag versuchen ob sie nicht
doch offen steht?

A sense of doubt is crossing my mind ...

Zitat von Synonym;42417

Wie meinste das Guppy? Das ist doch nicht neu, dass ftp-Adressen im Index sind.

Ja schon, aber wenn ich den Eingangspost richtig verstanden habe, werden willkürlich Domains oder ip`s mit *** Link veraltet ***. angesteuert ohne dass selbige verlinkt sind. Wenn dann die Einstellungen am Server nicht korrekt sind, kann (soweit mein Verständnis dafür reicht) das komplette Hosting ausgelesen werden.
Ich glaube nicht, dass z.B. der hier ftp . ccc . de davon begeister ist.
Was anderes ist es, wenn das Spidern gewünscht ist, z.B. für dl - wobei der Sinn sich mir auch nicht so ganz erschließt.

Margin
Das ist nicht neu, das macht Google schon immer. Nur bei Dir ist es neu, weil er vorher noch keinen Link hatte, den hat er jetzt, woher auch immer.

Rudolf Ratlos
Also kommt Google ohne Userkennung. Das "anonymous" muss Google noch nicht mal senden. Viele FTP-Server schalten automatisch auf "anonymous" um, wenn keine Kennung gesendet wurde. Port 21 ist auch klar, dann sendet Google wohl aber auch nicht, da die wohl über ftp:// kommen und der Server das selbst umsetzt. Daher die Frage vorher, warum die überhaupt erreichbar ist.

Zitat

Was mich wundert:
Wie lange brauchen die bis die merken das das nicht geht
und wie kommen die auf die Idee das da nen anonymer FTP-acc ist?

Ehrlich gesagt werden die nie auf die Idee kommen, dass das nicht geht, wenn der Link erst mal vorhanden ist. Ist doch nix anderes wie 404 bei HTTP. Auch dort kommt er immer wieder, könnte später ja doch wieder was da sein. Selbiges beim FTP.
Das mit Dem Acc. Wie gesagt, auf die Idee müssen die nicht kommen. Die meisten FTP-Server nehmen automatisch anonymous, wen man keine Benutzerkennungen sendet.

Wenn Ihr *** Link veraltet *** aufruft, dann wird hier weder ein Port gesendet, noch ein User oder ein Passwort. Der Server gibt Port 21 und User "anonymous" dann selbst vor. Ist es erlaubt, wird die Verbindung aufgebaut, wenn nicht, abgelehnt. Genau das steht dann in den Logs, abgelehnter Zugriff von anonymous.

Zitat

Wenn die Tür zu ist, warum dann mehrmals am Tag versuchen ob sie nicht
doch offen steht?

Kann ich Dir nicht sagen. Kann aber auch fragen, warum Google ständig eine Seite bemängelt, dass es die nicht geben würde (404) und das schon seit 4 Jahren.