ajajaj. Also ich würde es komplett anders machen. Aber ist nen Geschmäckle, was man eigentlich erreichen möchte.
Kurzum..
Am Anfang sollte stehen: Allgemeines. z. B. mit
User-agent: *
Disallow: /admin/
Da fasse ich erstmal ALLE Bots an, was die nicht dürfen. Das sollte am Anfang stehen.
Dann habe ich gesehen, KI Bots sperrst du aus. Warum?
Wenn ich bei ChatGPT frage, wo ich kompetente Hilfe zum Thema deines Forums bekomme, warum sollte das da nicht erscheinen? Du sperrst den ja aus. Er kann somit zB auch nicht auf deine vielleicht vorhandene llms.txt zugreifen.
Ich lasse jegliche AI Bots durch. Du kannst den in der llms.txt allerdings zB untersagen, das wäre ein weiterer Weg, deinen Content für Trainingsdaten eben nicht zu verwenden.
Du hast es dir schwer gemacht mit den KI Antworten, wenn du das so pauschal ausschliesst. Denn bis zur llms.txt kommt es dann meiner Meinung nach eben auch nicht. Wenn du da keine hast, leg diese an. Wenn du keinen KI Traffik haben möchtest, lass es so.
Ich habe Projekte, die haben mittlerweile (auch YMYL Seiten) 50% ChatGPT & Co Traffik. Also echte Besucher, die sich für ein Thema interessieren und es vertiefen möchten.
Böse Bots, Traffiksauger und so weiter sperrt man auch nicht gut per robots.txt, sondern per .htaccess. Die kommen dann garnicht erst drauf.
Für richtig renitente Fälle habe ich auch eine serverseitige Firewall, die das auch automatisch erkennt, wenn da ein Bot sich nicht an die Regeln hält. Das ist allerdings mehrstufig und erstmal denke ich, bei dir nicht vorhanden.
Dann sehe ich.... du versuchst von Google (Images, Video) auch den Bot pauschal zu verbieten. Wie siehts mit Vorschaubildern aus, zB Twitter Images, oder Opengraph. Das nutzt Google für eine bessere und auffälligere SERP Anzeige. Das würde ich an deiner Stelle unbedingt nutzen!
Dann die Suche über Bilder.. weiss jetzt nicht so richtig die Gründe, aber sicherlich ist Privatsphäre da bei euch wichtig? Oder warum habt ihr das gemacht?
Ich habe... tjar. auch ein Projekt, das bietet auch Bilder an. (Grußkarten z. B.). Da kannst du dir denken, dass da richtig Traffic reinkommt, auf den ich natürlich nicht verzichten möchte.
Es ist aber eine "normale" Seite, wo eben auch diese Grußkarten auch drauf sind. Teilt sich bei bestimmten Unterseiten etwa 50/50 den Google-Traffic (Suche & Google Bildersuche).
Die Frage ist, ob du das möchtest. Du verzichtest halt auf Suchmaschinen und auch KI sowie GEO Traffik und auf Signalwirkung in den SERPS.
Ich würde dir dazu raten diesen Block herauszunehmen, den `disallow` auf das Wesentliche (Seiten und Ordner!) und eben nicht per Bot zu beschränken.
Möchtest du einen Bot, z. B. einen, der unerwünscht ist, aussperren, mach es am besten per htaccess. Das ist am effizientesten. Und richtig blöde und böse Bots halten sich ohnehin nicht an die robots.txt
Parameterfilterung sieht gut aus, würde ich drin lassen. Sitemap ist vorhanden und auch in der robots.txt angegeben. Das ist gut. 