Hi,
nachdem ich ein nettes kleines voting-script auf einer Seite eingebaut habe, musste ich feststellen, das es ein paar Probleme gab. Diverse web-spider legten neue Kategorien an indem Sie query-strings absetzten die noch nicht existente Id´s aufriefen und damit Neueinträge in die Datenbank schrieben.
Auch wurden aus einem bekannten Bot/Crawling-Netzwerk querys gesendet die einzelne Seiten runterwählten ...
Das hat sich erledigt aber:
Beim Durchsehen der server-logs fand ich neben diversen hot-linkern auch jede Menge spider die einiges an traffic verursachen.
Hot-linker bekommen statt den Dateien ein "kostenloses" Werbebild ...
Einige spider sind anhand ihrer UserAgent-angabe ausgesperrt.
Beides per .htaccess und von Hand.
Frage?
Welche spider würdet ihr zulassen und welche nicht.
Ich möchte die .htaccess aber nicht dauernd von Hand bearbeiten und überlege ein script zu schreiben mit dem sich das komfortabler erledigen lässt.
Eventuell auch zentral über httpd und RewriteMap.
Frage?
Muss ich das Rad nochmal erfinden und ist wer daran interessiert sowas als gemeinsames Projekt zu realisieren?
Gruss