Das ist natürlich klasse, wenn man drei Tage ein Problem sucht bzw. eben eine Lösung, alles möglich bei Google anklickt und dann wieder hier bei seiner eigenen Frage landet 
Wie gesagt, besteht immer noch und ich verstehe es nicht.
Das ist die Funktion, die da aufgerufen wird.
function ToTopInit ()
{
if ('IntersectionObserver' in window)
{
// ToTop
const header = document.getElementById('header');
//console.log(header);
const toTopConfig = {
// Maximaler Viewport, kein Abstand, minimale Sichtbarkeit
rootMargin: '0px',
threshold: 0.01
};
// Observer starten
let toTopObserver = new IntersectionObserver(onIntersectionToTop, toTopConfig);
// Observe für Elemente einrichten
toTopObserver.observe(header);
function onIntersectionToTop(entries)
{
// Loop über alle entries
entries.forEach(function(entry)
{
// Wenn ein Eintrag den Viewport verlassen hat (== 0)
if (entry.intersectionRatio == 0)
{
var toTop = document.getElementById('to-top');
toTop.className = 'fadein';
toTop.addEventListener("click", scrollToY, false);
}
else
{
var toTop = document.getElementById('to-top');
toTop.className = 'fadeout';
toTop.removeEventListener("click", scrollToY, false);
}
});
}
}
}
Alles anzeigen
Der Fehler wird unten im letzten "else" von der Zeile 36 "toTop.className = 'fadeout';" ausgelöst, nur warum? Wie es scheint, ist die Zeile darüber bzw. der Zugriff darauf nicht möglich, aber auch hier, warum?
Der Aufbau im HTML ist ganz einfach.
Im Body oben steht <div id="herader"> und am Ende vom Body eben <div id="to-top>". Danach kommt asynchron das Javascript. Der Zugriff auf den "Header" funktioniert immer, der auf ToTop nur zu 95%. Wie kann das sein?
Wäre mir ja völlig egal, aber der Fehler bricht halt alle anderen Scripte auch ab. Da funktioniert dann gar nichts mehr. 
Und noch verwirrender ist eben, dass auf die ID ja erst zugegriffen wird, wenn ein "onIntersection" stattfindet, also gescrollt wird und der Browser seine Überwachung bereits aktiviert hat. Wie kann man aber bitte in einem Dokument scrollen, wenn der DOM noch gar nicht vollständig geladen ist?