Böse Spinnen

Rudolf Ratlos

Hi,

nachdem ich ein nettes kleines voting-script auf einer Seite eingebaut habe, musste ich feststellen, das es ein paar Probleme gab. Diverse web-spider legten neue Kategorien an indem Sie query-strings absetzten die noch nicht existente Id´s aufriefen und damit Neueinträge in die Datenbank schrieben.
Auch wurden aus einem bekannten Bot/Crawling-Netzwerk querys gesendet die einzelne Seiten runterwählten ...
Das hat sich erledigt aber:
Beim Durchsehen der server-logs fand ich neben diversen hot-linkern auch jede Menge spider die einiges an traffic verursachen.
Hot-linker bekommen statt den Dateien ein "kostenloses" Werbebild ...
Einige spider sind anhand ihrer UserAgent-angabe ausgesperrt.
Beides per .htaccess und von Hand.

Frage?
Welche spider würdet ihr zulassen und welche nicht.

Ich möchte die .htaccess aber nicht dauernd von Hand bearbeiten und überlege ein script zu schreiben mit dem sich das komfortabler erledigen lässt.
Eventuell auch zentral über httpd und RewriteMap.

Frage?
Muss ich das Rad nochmal erfinden und ist wer daran interessiert sowas als gemeinsames Projekt zu realisieren?

Gruss

Alex07

nee brauchste nicht

guck dir mal spider trap oder bot trap an
aber die sperren manchmal mehr als mir leib ist, deswegen hab ichs wieder raus genommen
schadé
airport1 ( bot trap ) der hier auch angemeldet ist ist erklärter krieger gegen den spam, macht euch doch zusammen

ich bin da auch irgendwo angemeldet..

Rudolf Ratlos

Nuja brauch ich doch,

ich will weder einen Honigtopf aufstellen, noch in jede Seite ein script einbauen.
Danke aber die Varianten sind sozusagen kalter Kaffee ...

Gruss

Synonym

Nun, da wirst Du aber wohl selbst was entwerfen müssen, denn der Anwendungsfall ist ja sehr speziell. Zudem sind direkte Zugriffe auf Bilder ja gar nicht so einfach erfassbar. Bot-Trap scheidet da also schon mal aus.

Ich für meinen Fall habe auch zusätzlich zur Bot-Trap auch noch ein Script drauf, das mir Spammer direkt sperrt und entsprechend einen Sperrvermerk in die vHost schreibt. Aber auch das würde bei Dir nicht gehen.

Vorstellen könnte ich mir eher ein Modul für den Webserver, der die Auswertung übernimmt (Scriptsprache ala PHP geht ja nicht) und dann selbst Sperrungen durchführt, eventuell in Verbindung mit mod_security oder so. Nur wirklich einfacher wird es dann auch nicht. Wenn automatisch, dann ist die Gefahr groß, dass es falsche trifft. Wenn manuell, dann kannste ja gleich die htaccess bearbeiten.

Rudolf Ratlos

Moin,

mal genauer:
LINUX Webserver mit Apache
einige Domains
Beispiel Domain .htaccess:

Apache Configuration

RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.domain.de$ [NC]
RewriteRule ^(.*) https://beispiel.rocks/beispiel.rocks/domain.de/$1 [L,R=301]




RewriteCond %{REQUEST_METHOD} ^(TRACE|TRACK)
RewriteRule .* - [F]




#Bots
RewriteCond %{HTTP_USER_AGENT} (magichnicht) [OR]
...
RewriteCond %{HTTP_USER_AGENT} (magichauchnich) [OR]
RewriteCond %{HTTP_USER_AGENT} (magichschongarnicht)
#RewriteRule ^(.*)$ - [F]
RewriteRule ^.*$ https://beispiel.rocks/beispiel.rocks/127.0.0.1/




#Klauer
<FilesMatch "\.(jpg)$">
RewriteEngine On
RewriteCond %{HTTP_REFERER} ^https://beispiel.rocks/beispiel.rocks/(www\.)?doofseite.com/.*$ [NC,OR]
...
RewriteCond %{HTTP_REFERER} ^https://beispiel.rocks/beispiel.rocks/(www\.)?dummseite.com/.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^https://beispiel.rocks/beispiel.rocks/(www\.)?gehblossweg.de/.*$ [NC]
RewriteCond %{REQUEST_FILENAME} !extra.jpg$
RewriteRule .*\.(jpg)$ https://beispiel.rocks/beispiel.rocks/domain.de/fotos/extra.jpg [R]
</FilesMatch>

Alles anzeigen

Nehmen wir als Beispiel den Teil unter #Bots:
Das soll auf allen Domains greifen.
Ich will nicht das irgendwelche SEO-Supertools die Seiten einlesen und auswerten
hab ich nix von und hilft nur denen die das benutzen.
Ich will aber nicht auf jeder domain die .htaccess von Hand damit befüllen.

Über diesen Ansatz denke ich gerade nach:
*** Link veraltet ***

Soweit erst mal ...

Synonym

Ach so, dann hatte ich das falsch verstanden. Dachte Du wolltest zentral mit anderen Personen so was anlegen bzw. eben nicht die htaccess per Hand ändern. Dir geht es also nicht um das Ändern direkt, sondern darum, dass Du es an mehreren Stellen machen musst.

Es nur "an einer Stelle" ändern und dann in die Config einlesen ist möglich. Das Beispiel (Link) von Dir ist ein Weg. Prinzipiell könnte man die ganze htaccess (deren Inhalt / Rules) in die Datenbank auslagern. Demzufolge könnte man auch von verschiedenen htaccess auf den Datenbestand der DB zugreifen und einbinden. Das Mapping kann also aus einer einzelnen Datei kommen (txt), aus einem Programm wie PHP (prg) aber auch aus der Datenbank (dbd oder fastdbd).

*** Link veraltet ***
*** Link veraltet ***

Möglich wäre aber auch, wenn die verschiedenen Domänen alle auf dem gleichen Server liegen, dass Du einfach eine zentrale Datei vorhältst, die dann per include in den jeweiligen vhost (nicht htaccess) eingebunden werden oder eben zentral direkt in die httpd:
*** Link veraltet ***
Funktioniert aber halt nur, wenn es der gleiche Server ist.