Die Frage mit Semrush ist nicht rhetorisch. Wollte schon was zu schreiben, hatte es dann aber gelassen. Das ist schlicht was ganz anderes. Die Spidern eine Site, rufen den Quelltext ab, suchen darin Links und speichern die. Das machen sie immer wieder um zu prüfen, ob er noch da ist, ein neuer da ist, oder eine neue Seite gefunden wurde.
Das macht Google auch. Daher sagte ich schon mal, Du müsstest als aller erstes herausfinden, wie oft Google überhaupt auf Deiner Seite ist. Als Anmerkung, Pagespeed.de von Alex kann das auch. Eine Seite oder eine Hand voll vorgeben und dann lass ihn drauf los. Suche alle Links die da sind, folge allen, suche wieder, folge, suche etc.
So, Semrush ist permanent bei Dir, bei mir auch. Also nicht immer, aber wenn, dann gerne mal Tage und dann wieder Tage nicht. Warum? Weil die Seiten schon bekannt sind, da werden also bekannte abgesucht und deren Links gefolgt. Stellst Du eine komplett neue Seite ein, dann werden die da nicht kommen, denn sie kennen sie nicht. Sie lernen sie irgendwann kennen, wenn verlinkt und Link gefunden, aber auch das dauert. Oder warum meinst Du, warum selbst die besten Linkchecker auch nur einen Bruchteil der Links finden oder eben nur ein Bruchteil davon überhaupt stimmt? Weil auch dort die Daten "alt" sind. Es kann nicht alles jetzt sofort geprüft werden. Diverse Tools zeigen mir hier noch Links an, die gibt es schon 5 Jahre oder länger nicht mehr.
So, und weil Du immer sagst, alles wäre nur eine Vermutung.... Klar ist es das, wie vieles im Leben. Es ist auch nur eine Vermutung, dass ich sterbe, wenn ich aus dem 20ten Stock springe. Kann mir schließlich vorher keiner beweisen, dass dem so ist.
So, die Bots.... Semrush haben wir nun. Google und alle anderen machen erst mal in Phase 1 das Gleiche. Nur dass Googles Datenbasis wohl um Faktor 1000 Mio größer sein dürfte, aber egal. Dieser Step 1 ist der einfachste, aber auch der ist limitiert. Alles gleichzeitig geht nicht, man kann keine mehrere Milliarden Webseiten zur gleichen Zeit abrufen. Selbst wenn das gehen würde wären das ja nur die bekannten und nicht die neuen. So oder so, die neuen Seiten muss man suchen. Wie oft will man denn suchen? Eben war ich da, es war nichts neu. Jetzt, 2 Min später vielleicht? Also noch mal schauen. Wieder nicht. Soll ich gleich noch mal?
Du gehst zu Lidl um zu sehen, ob was neues im Sortiment ist. Nee, ist nicht. Gehst Du dann 10 Min später gleich noch mal hin um nachzusehen?
So, immer noch Step 1. Der einfachste, aber limitiert, auch bei Semrush und Co.
Google hat aber noch Step 2, 3 und 4 und da kommt nun noch mehr Last. Step 1 war nur Quelltext abrufen und auswerten. Das ist Traffik für den Quelltext und Rechenleistung für die Auswertung. Also Step 1b... Sonstige Inhalte abrufen. Bilder, CSS, JS, Video etc. Jetzt haste schon mal richtige Datenlast, die z.B. Semrush nicht hat. Dann haste also die Rohdaten. Also Step 2, rendern ist angesagt, also die Webseite so zusammenbauen, wie sie im Browser ist. Nun ist fast nur Rechenleistung gefragt. Deine Domain hat wie viele Seiten inkl. Forum? Also alle URLs, die es irgendwie gibt und erzeugt werden? Ich würde mal grob schätzen 1500. Wenn Du alles zeitgleich willst, dann mach doch mal im Browser 1500 Tabs auf und lass den rendern 
So, Step 3 und 4 (Seite auswerten und Cache) lass ich nun mal weg.
Alleine schon der Gedanke, zeitgleich von jeder Webseite auch nur ein Bild zu laden ist unmöglich. Unmöglich im Sinne von "nicht sinnvoll". Alle Seiten einer Domain laden.... Das wird lustig. Wenn Google das machen würde, dann wärst Du sicherlich auch einer der Ersten, der fragen würde, warum stürzt mein Server ständig ab. Naja, weil Google halt die ganzen Ressourcen braucht, die Dein Server so hergeben kann.
Also sind wir wieder an dem Punkt "Ressourcenverteilung" und "priorisiert einsetzen". Eine Ampelschaltung an einer Kreuzung ist auch unterschiedlich und abhängig davon, ob es eine Haupt- oder eine Seitenstraße ist.
So, neue Seiten, die muss man erst finden. Dafür gibt es z.B. auch so was wie Sitemaps, damit es einfacher ist. Man muss dann halt nicht die ganze Domain absuchen, sondern nur die Datei lesen. Aber wie oft? Auch hier, es wird priorisiert. Davon gibt es ja auch nicht nur eine oder 10, das sind Milliarden. daher auch der Ansatz mit "IndexNow". Das spart im Grunde (oder könnte) alle Zugriffe sparen, denn die erfolgen nur, wenn was Neues gemeldet wird. Also geht man auch nur in den Lidl, wenn das neue Prospekt da ist, in dem die Neuheiten drinnen stehen.