Ich habe nur eine 3060 mit 12GB ram
Mit spezialisierten Modellen - ich denke 7b und 2-3bit läuft es bestimmt auch gut, Coding ist dann halt nicht so prall, dafür braucht es mindestens 4bit, eher 5 - sagt man, weil bei 4-5 liegt die Fehlertoleranz bei 1-2,5%, ab 3bit geht es schon über 10%.
Man hat mir gerade Ornith 1.5 35b empfohlen, schaue ich in die Spezifikationen ist es ein Quantifziertes Qwen 3.5.. Auch Qwen 3.5 und ebenso die 3.8 sind letztlich optimierte 3.5er. Da haben die Chinesen echt was rausgehauen.
Claude Code ist ja ein Agent, welches LLM steckt dahinter?
Hey zusammen,
ich wollte mal einen Thread starten, in dem wir austauschen, welche LLMs ihr aktuell lokal laufen lasst und warum. Bei mir sieht das Setup momentan so aus:
Ich fahre eine RTX 3090 (24 GB VRAM) mit Ryzen 5 5600, 32GB RAM, Betriebsystem Unraid + Docker und wechsle je nach Aufgabe zwischen zwei Qwen-Modellen, beide als 27B in Q4-Quantisierung:
Interessant fand ich, dass beide Modelle laut Benchmarks technisch dasselbe "Skelett" teilen (qwen 3.5), der Sprung von 3.6 auf 3.8 aber fast komplett aus dem Post-Training kommt, nicht aus einer neuen Architektur. Dadurch performt 3.8 bei Agenten-lastigen Aufgaben wie Terminal- oder Browser-Automatisierung deutlich stärker (z. B. +20 Punkte auf OSWorld-Verified), overthinkt dafür aber gerne mal im Standard-Reasoning-Modus und frisst massiv mehr Tokens – manche Nutzer berichten von über 20.000 Reasoning-Tokens für simple Aufgaben. Deshalb laufe ich das eher nachts, wo Zeit keine Rolle spielt, und tagsüber setze ich auf das "brave" 3.6er für flotte Antworten.
Ein paar Fragen an euch:
Bin gespannt auf eure Setups – gerne mit Angaben zu Quantisierung, VRAM und Tokens/Sekunde, damit wir das Ganze vergleichbar machen!
Generell habe ich aktuell etwas Erfahrung in der "Text Generierung", möchte aber auch Lokal ins Text to Speech, Bild und Video Generierung.
Ich habe ihm mal erzählt, dass J.B.O. die beste Band der Welt ist. Das erwähnt er jetzt auch in regelmäßigen Abständen. Ich habe ihn daraufhin gefragt, ob er das auch anderen Usern erzählt, und er meinte, er dürfe das nicht. Ich habe es ihm dann erlaubt, und ich glaube, er lässt mich nun in dem Glauben, dass er es tut.
Bei mir hilft da immer, wenn ich schreibe: "Sei knallhart ehrlich mit mir!!!! Ich verkrafte die Wahrheit."
Dann schreibt es: "Okay, du willst die volle Wahrheit:.."
Ich bin ein einfacher Mensch.
ich finde das www. vor main domain irgendwie antiquiert.
2020!
Ich muss nachjusitieren
Eihjeihjeih, welcher Bot ist hier aufgewacht? Würde ich aber so lassen, dass man alte Themen hochholen kann. Solange es überschaubar ist, ist es lustig,
Von mir auch noch ein Gesundes Neues!
Bei mir zeigt die Google Search nun bei 24h gar nichts mehr an.
Mir ist aufgefallen, dass die Ergebnisse im KI-Modus variieren, je nachdem, ob ich in meinem Account eingeloggt bin oder die Suche im ausgeloggten Zustand nutze. Ist das sonst noch jemandem aufgefallen? Bis vor kurzem war das meiner Erfahrung nach noch nicht der Fall.
habinnes ist denn schon etwas rausgekommen? Gibt es Fragen?
Soweit wie ich mittlerweile gelesen haben, sind die KI Geschichten durch den massiv gestiegenen Nutzungsgrad am Limit.
Wieviel schneller wirds von 8.0 zu 8.5?
Hallo zusammen,
ich bin in letzter Zeit auf ein ziemlich frustrierendes Problem mit der Google Search Console gestoßen und wollte fragen, ob das bei euch auch der Fall ist.
Ich habe bemerkt, dass die von Google gelisteten Daten in den Echtzeitdaten extrem veraltet sind. Normalerweise erwarte ich, dass die Indizierung neuer Inhalte sehr schnell geht, oft innerhalb von etwa 8 Stunden oder sogar weniger, besonders bei wichtigen oder aktuellen Themen.
Allerdings sehe ich momentan, dass die angezeigten Daten über 50 Stunden alt sind! Das macht es extrem schwierig, auf wirklich aktuelle Informationen zuzugreifen.
Ist euch das auch aufgefallen? Habt ihr ähnliche Verzögerungen bei euren Statistiken bemerkt, oder funktioniert die Aktualität bei euch normal?
Ich bin gespannt auf eure Erfahrungen!
Auf jeden fall. Kommt dann auf der anderen Seite auf die Domainstärke darauf an, wie sich es auswirkt.
Sobald du einen Link als Mensch über den Browser nicht mehr erkennst, wird es negativ gewertet, egal was da verlinkt ist.
Danke für die weiteren Einblicke! Das ist sehr wertvoll.
Den Tipp mit Claude AI werde ich mir definitiv genauer ansehen, statt immer nur auf ChatGPT zu setzen. Ein Wechsel kann da oft Wunder wirken, gerade wenn es um Strukturierung und Qualität geht.
Dein Hinweis, dass man trotz Mass Production den Content überprüfen muss, ist goldrichtig und kann nicht oft genug betont werden. Die Tools nehmen uns die Arbeit ab, aber die menschliche Qualitätskontrolle ist unersetzlich.
Spannend finde ich auch den Punkt mit dem Prompting und dem Einsatz von Rollen. Das ist oft der Schlüssel, um wirklich hochwertigen Output zu erzielen. Ich werde da selbst ein wenig experimentieren müssen, um mein "Grundlage" zu finden.
Das bringt mich zu einer konkreten Frage zur Strukturierung, Alex07:
Gibt es deiner Erfahrung nach spezifische HTML- oder Content-Struktur-Elemente zum Beispiel die spezielle Verwendung von Listen oder Schema Markup, die Bing im Vergleich zu Google deutlich stärker oder anders gewichtet, wenn man auf den Single-Money Key optimiert? Oder anders gefragt: Kannst du ein praktisches Beispiel nennen, wie eine "perfekte" Bing-optimierte Struktur aussieht?
Immer, mehr Informationen sind immer gut.
Gerade das Bespielen der KI hat sich geändert. Hier werden eher externe Quellen zitiert, die über die Webseite berichten. Man muss jetzt eben diese Externen bespielen, als die eigenen. Das war jetzt so mein größtes Learning.
Links sind immer noch wichtig.
