robots.txt und htaccess für WBB Forum - aussperren "böse Bots"

Gerne Shalin

Ich sage auch gerne was dazu

ajajaj. Also ich würde es komplett anders machen. Aber ist nen Geschmäckle, was man eigentlich erreichen möchte.

Kurzum..

Am Anfang sollte stehen: Allgemeines. z. B. mit

User-agent: *

Disallow: /admin/

Da fasse ich erstmal ALLE Bots an, was die nicht dürfen. Das sollte am Anfang stehen.

Dann habe ich gesehen, KI Bots sperrst du aus. Warum?

Wenn ich bei ChatGPT frage, wo ich kompetente Hilfe zum Thema deines Forums bekomme, warum sollte das da nicht erscheinen? Du sperrst den ja aus. Er kann somit zB auch nicht auf deine vielleicht vorhandene llms.txt zugreifen.

Ich lasse jegliche AI Bots durch. Du kannst den in der llms.txt allerdings zB untersagen, das wäre ein weiterer Weg, deinen Content für Trainingsdaten eben nicht zu verwenden.

Du hast es dir schwer gemacht mit den KI Antworten, wenn du das so pauschal ausschliesst. Denn bis zur llms.txt kommt es dann meiner Meinung nach eben auch nicht. Wenn du da keine hast, leg diese an. Wenn du keinen KI Traffik haben möchtest, lass es so.

Ich habe Projekte, die haben mittlerweile (auch YMYL Seiten) 50% ChatGPT & Co Traffik. Also echte Besucher, die sich für ein Thema interessieren und es vertiefen möchten.

Böse Bots, Traffiksauger und so weiter sperrt man auch nicht gut per robots.txt, sondern per .htaccess. Die kommen dann garnicht erst drauf.

Für richtig renitente Fälle habe ich auch eine serverseitige Firewall, die das auch automatisch erkennt, wenn da ein Bot sich nicht an die Regeln hält. Das ist allerdings mehrstufig und erstmal denke ich, bei dir nicht vorhanden.

Dann sehe ich.... du versuchst von Google (Images, Video) auch den Bot pauschal zu verbieten. Wie siehts mit Vorschaubildern aus, zB Twitter Images, oder Opengraph. Das nutzt Google für eine bessere und auffälligere SERP Anzeige. Das würde ich an deiner Stelle unbedingt nutzen!

Dann die Suche über Bilder.. weiss jetzt nicht so richtig die Gründe, aber sicherlich ist Privatsphäre da bei euch wichtig? Oder warum habt ihr das gemacht?

Ich habe... tjar. auch ein Projekt, das bietet auch Bilder an. (Grußkarten z. B.). Da kannst du dir denken, dass da richtig Traffic reinkommt, auf den ich natürlich nicht verzichten möchte.

Es ist aber eine "normale" Seite, wo eben auch diese Grußkarten auch drauf sind. Teilt sich bei bestimmten Unterseiten etwa 50/50 den Google-Traffic (Suche & Google Bildersuche).

Die Frage ist, ob du das möchtest. Du verzichtest halt auf Suchmaschinen und auch KI sowie GEO Traffik und auf Signalwirkung in den SERPS.

Ich würde dir dazu raten diesen Block herauszunehmen, den `disallow` auf das Wesentliche (Seiten und Ordner!) und eben nicht per Bot zu beschränken.

Möchtest du einen Bot, z. B. einen, der unerwünscht ist, aussperren, mach es am besten per htaccess. Das ist am effizientesten. Und richtig blöde und böse Bots halten sich ohnehin nicht an die robots.txt

Parameterfilterung sieht gut aus, würde ich drin lassen. Sitemap ist vorhanden und auch in der robots.txt angegeben. Das ist gut.

Gerne. ABER. Nimm nicht die hier vom Forum (hab da nie was dran gemacht, meine ich!). Ich mach dir lieber eine individuelle. Ich komm nu aber grade nicht dazu. Ich schreibe dir die in etwa 2-3 Stunden.

Dann fixe ich meine, wenn nötig, gleich mit.

######################################

#das sollte soweit für dein Forum passen

# robots.txt für WoltLab Suite
# Annahme: WoltLab-Core im Domain-Root (Standard), Apps wie das Forum in Unterordnern (z. B. /forum/)

User-agent: *

# Admin Control Panel (Core im Root bzw. in einem Unterordner wie /wcf/)
Disallow: /acp/
Disallow: /*/acp/

# Funktionsseiten ohne Suchwert
Disallow: /login/
Disallow: /register/
Disallow: /lost-password/
Disallow: /search/
Disallow: /search-result/

# Parameter: Sortierung und Filter in Listen
Disallow: /*?*sortField=
Disallow: /*?*sortOrder=
Disallow: /*?*filterByDate=
Disallow: /*?*filterByStatus=
Disallow: /*?*labelIDs
Disallow: /*?*letter=
Disallow: /*?*objectType=

# Parameter: Sprung-URLs, Weiterleitungen und Such-Highlighting in Themen
Disallow: /*?*postID=
Disallow: /*?*action=
Disallow: /*?*highlight=

Sitemap: hier rein..

Dann die htaccess für/gegen böse Bots, die sich eh nicht an Regeln halten.

Bitte teste das und füge erst nach dem Kommentar ein. Die htaccess könnte bei dir nicht funktionieren, es kommt auf den Provider und auch die freigeschalten Apache Module an. Bei nginx läuft garnicht und bei einer anderen Apache Version auch nicht.

Die ist übrigens auch in meinem Forum drin und filtert schon das gröbste raus, was man einfach nicht draufhaben möchte.

Eine richtige Firewall ersetzt das natürlich nicht. Es ist aber schon besser, als ohne die Anweisung.

Bei Problemen mit dieser htaccess, bitte diesen Block wieder entfernen und in den Logs schauen, was ihn daran stört. Das kann man auf jede Umgebung etwas anpassen. So ist es einfach gestrickt und wenn du etwas dabei haben willst musst du den # entfernen. Das ist aber absolut optional. Und wenn du dir unsicher bist, was du da machst, nimm es nicht raus!

# ============================================================
# Bad-Bot-Block für WoltLab Suite (Apache 2.4)
# Einfügen: ganz oben in die .htaccess im Root der Suite.
# Greift automatisch auch in App-Ordnern wie /forum/.
# ============================================================

<IfModule mod_setenvif.c>
# Schwachstellen-Scanner
SetEnvIfNoCase User-Agent "(sqlmap|nikto|nmap|masscan|zgrab|nuclei|wpscan|acunetix|netsparker|dirbuster|gobuster|fuzz faster u fool|jorgee|zmeu)" bad_bot

# Seiten-Kopierer und E-Mail-Harvester
SetEnvIfNoCase User-Agent "(httrack|webcopier|webzip|webstripper|webwhacker|offline explorer|teleport ?pro|blackwidow|sitesnagger|emailcollector|emailsiphon|emailwolf|extractorpro)" bad_bot

# Crawler, die robots.txt nachweislich ignorieren
SetEnvIfNoCase User-Agent "bytespider" bad_bot

# Skript-Bibliotheken mit Standard-User-Agent (weder Browser noch ehrlicher Bot)
SetEnvIfNoCase User-Agent "(python-requests|python-urllib|python-httpx|aiohttp|scrapy|go-http-client|libwww-perl|lwp-trivial|java/|jakarta|node-fetch|axios)" bad_bot

# Optional: curl/wget – Vorsicht, falls Cronjobs oder Monitoring per curl/wget laufen
# SetEnvIfNoCase User-Agent "^(curl|wget)" bad_bot

# Optional: Anfragen ganz ohne User-Agent – kann Monitoring-Tools treffen
# SetEnvIfNoCase User-Agent "^$" bad_bot

# Optional: SEO-Crawler – halten sich an robots.txt, nur bei echten Lastproblemen aktivieren
# SetEnvIfNoCase User-Agent "(mj12bot|dotbot|blexbot|barkrowler|megaindex|serpstatbot|dataforseobot)" bad_bot
</IfModule>

<IfModule mod_authz_core.c>
<RequireAll>
Require all granted
Require not env bad_bot
</RequireAll>
</IfModule>

Bei der htaccess Regel.. also das kann zur Nichterreichbarkeit deines Forums führen, wenn er eine Anweisung eben nicht "versteht". z. B. wenn’s ein Apache 2.2 ist (altes Ding!). Oder wenn bestimmte Sachen missinterpretiert werden.

Dann bitte nicht in Panik verfallen, den Block herausnehmen. Speichern. Das Forum läuft danach wieder.

Aber wenn du Zugriff auf die Logs hast, schau dann bitte, was ihn an dieser .htaccess‑Anweisung gestört hat.

Dann kannst den Auszug der Fehlermeldung hier wieder posten, ich kann das dann nachvollziehen und anpassen. Aber dann wirklich erst in 2–3 Stunden.

japp. Das passt soweit. Bin auch durch für heute.

Zitat von Shalin

Wegen der .htaccess die würde bei mir nicht gelesen werden, ein nginx/1.30.5 (Linux) Server

ja.

Das geht dann so nicht mit nativem Nginx. Da gibt es allerdings auch Möglichkeiten, das über nginx zu machen. Leider bin ich da nicht so Experte für die Syntax.

Worauf läuft die Maschine denn? Plesk?

Wenns ein Plesk ist.. warum machst du nicht den Proxymodus rein? Also, dass Apache und Nginx zusammen laufen? Dann könnte er htaccess und hätte auch die Vorteile vom schnellen Nginx. Habe ich auch so auf meinen Servern.

Am besten mal deinen Hoster fragen. Das bitte auch mit ihm planen, oder besser noch, die nginx Anweisungen direkt "umwandeln", das was ich dir für die htaccess geschickt hatte. Das würde auch gehen. Allerdings kann ich dir dabei halt nicht helfen.

Bin schon oft an nativem nginx verzweifelt. Klar, es ist sauschnell und effizient. Aber.. Halt irgendwie nie meins

Hier mal meine
robots.txt

Zitat von Matze

Hier mal meine
robots.txt

sieht sauber aus.