Nur mal so als Info, falls es noch nicht bekannt sein sollte.
Apple ging mit seiner eigenen Suche nun offiziell online. Also nicht nur als Suche für Siri, sondern als voreingestellte Suchmaschine auf Apple-Geräten. Der UserAgent vom Bot hat sich geändert. Natürlich beachtet er die robots.txt, also Anweisungen für sich als AppleBot, erstaunlich ist aber, dass er, wenn es keine Anweisungen für den AppleBot gibt, er dann die vom GoogleBot nimmt, falls vorhanden.
Gleichzeitig ging für alle die Suchmaschine von Ahrefs online: https://yep.com/ Wer das Tool in der robots.txt gesperrt hatte, sollte nun überlegen, ob er es nicht doch freigibt, denn der Such-Bot nutzt den gleichen UA als der Tool-Bot.
Allerdings scheint es auch so zu sein, dass sehr alte Daten erst mal ausgeliefert werden. Ich hatte das Tools gesperrt, entsprechend keine Ergebnisse in der Suche. Dann freigegeben und 2 Tage später waren welche da. Diese sind aber ALLE ohne SSL, auch alte URL-Struktur. Teilweise auch ohne www. Ich würde mal sagen, das was die da aktuell haben ist so an die 5-8 Jahre alt.