Beiträge von Alex07

Zitat von Kuttel

common surface for large-scale scraping und automated abuse

Zitat von Shalin

Bei der Abwesenheitsmeldung kann man da den Mond und den Befehl näher zusammenschreiben?

Notiert.

Allerdings... finde ich es so besser. Du musst dir das so vorstellen, es muss überall auf allen Geräten juut aussehen. Du kannst das allerdings mit Woltlab Suite supereasy OHNE Codegehacke als Custom CSS hinterlegen.

Wenn dir das wichtig ist, suche ich die Stelle mal raus und gebe dir den Code. Du kannst den, wenn du davon etwas verstehst, auch weiter anpassen. Ist nur ein winziger Schnipsel, der das dann im Design überschreibt.

Obs dann ein fester Bestandteil der 1.0.1 wird, also ohne CSS Fix, kann ich dir allerdings nicht versprechen. Bei Geschmackssachen gehen die Geschmäcker ja bekanntlich etwas auseinander. Es ist aber ALLES anpassbar. Muss nur bestimmtes CSS bei "Custom CSS" bei der Woltlab Suite eintragen.

ACHTUNG: Auch wenn ALLES anpassbar ist, sei vorsichtig damit. Denn ich habe tatsächlich das so aufgebaut, das es auf JEDEM Theme inkl Darkmode, Lighmode funktioniert.

Du solltest das dann immer prüfen, wie das in verschiedenen Themes aussieht (falls vorhanden!) und auch gegen die verschiedenen Modis testen.

Aber ein großer Vorteil ist, dass es anpassbar ist, ja. Und das wirklich sehr einfach. Das Design ist da sehr flexibel. Wenn du das Rosa haben möchtest, geht das auch. (übertrieben gesagt).

Das ist allerdings dann in der Regel eine Abteilung für Custom CSS. Ich stelle nur den Standard bereit und habe auch dem ganzen die Möglichkeit eingeräumt durch ebendiese Benennung im Code.

Bu Reports, Feature Requests etc alles hier rein.

Ich schicke dir aber gleich eine PN, zwecks testen.

Es wird auch die Tage wohl im Store bei Woltlab veröffentlicht. Aber Support gibt es kostenlos halt auch über das Forum, hier an dieser Stelle.

Also, es ist stabil. Ich brauche aber unbedingt Feedback. Bisher habe ich es getestet. Auch wie es sich in Sonderfällen verhält.

Hier schon mal ein vorgeschmäckle:

Normal

Im Darkmode

Moderation

Einstellungen Frontend

Emojis dürfen natürlich nicht fehlen.

Administration Backend

Mobilansicht

6.3.0 Alpha 1 wird übrigens zunächst ausgeschlossen. Sobald ich da in der Beta bin, wird auch spätestens bei der Stable von 6.3.0 der Chat ohne Probleme funktionieren.

Kommt halt drauf an, wies gepflegt wird.

Und ja.. es kommt OHNE externe Frameworks aus. Das ist noch wichtig zu erwähnen. Alles läuft in diesem einen Plugin, ohne was nachladen oder anpassen zu müssen.

Gerne.

Und da ist auch wichtig. ALLES, was stört, was Mist ist usw. Das bitte mir auch melden. Mich hatte zB an/abmelden im Chat gestört. Da sind nun intelligente Funktionen drin, die eben nicht störend sind, und man kann’s auch ausblenden. Oder was ich z. B. gut finde, bei Erwähnungen oder Flüstern, dass man einstellen kann, auch per Ton benachrichtigt zu werden. Das vermisste ich auch.

Ist alles nativ drin.

Version 1.0.0 ist soweit fertig. Inkl Sicherheitsaudit und getestet mit ALLEN Versionen gegen Woltlab Suite 6.2.x , auch PHP 8.4 sollte da Standard sein, es läuft auch auf 8.2 und 8.3 . Allerdings empfehle ich da auf eine moderne Version wie 8.4 zu setzen. Damit läuft Woltlab Suite auch am besten.

Zitat von Frank-L

männlich, technisch

Technisch begabte Männer wollen nicht chatten?

Problem bei Tims Chat ist, das Ding fällt auseinander vom Code her. Ich habe mir das vor nem Monat angeschaut. Hab auch erst überlegt, das weiterzuentwickeln. Nee, das läuft unter einer Business Source License 1.1

Meine Lizenz läuft unter MIT, deshalb war die Neuentwicklung auch rechtlich der richtige Weg. Übrigens ist bei meiner Lizenz so ziemlich alles erlaubt. Nicht nur unbedenkliche Weiterentwicklung.

Dann ist die Entwicklung aktiv. Ich habe auch nichts dagegen, wenn der Code reviewed wird. Im Gegenteil. Selbst ich prüfe immer gegen, den ein oder anderen Fehler und Methode. Auch Sicherheitsrelevantes wurde schon gefixt.

Noch ein kleiner netter Hinweis: Es ist komplett neu geschrieben. Keine Teile von Tims Chat sind dort wiederverwendet. Besonders auch aus sicherheitsrelevanten Gründen.

Lizenzrechtlich ohnehin.

Daher wird es den Chat auch kostenlos und unter der sehr offenen MIT‑Lizenz geben.

Dann, kurzes Update zum Chat: Die erste Beta ist schon länger fertig und läuft in meiner Testumgebung (WoltLab Suite 6.2.8 mit PHP 8.2 und 8.4) stabil. Danke auch für eure Rückmeldungen, auf die gehe ich weiter unten ein.

Was der Chat schon kann

Für alle Benutzer:

1. Mehrere Chaträume und eine Raumliste, die zeigt, wer gerade drin ist
2. Flüstern (private Nachrichten), /me-Aktionen und Abwesenheitsstatus mit Grund
3. @Erwähnungen werden hervorgehoben, Links werden automatisch erkannt
4. Emoji-Auswahl mit Suche und „Zuletzt verwendet“, dazu die Smileys aus dem Forum
5. Benutzerliste mit Avatar und Status (abwesend, stummgeschaltet, Moderator). Ein Klick auf einen Namen bietet Profil, Erwähnen und Anflüstern an
6. Eigene Einstellungen: Betreten-, Verlassen- und Abwesenheitsmeldungen jeweils einzeln ausblendbar, Uhrzeit an/aus, Ton und Desktop-Benachrichtigung bei Erwähnungen und Flüsternachrichten
7. Zähler für ungelesene Nachrichten im Browser-Tab, Vollbildmodus, Handy-Ansicht
8. Bequeme Eingabe: Enter sendet, Umschalt+Enter macht eine neue Zeile, die Pfeiltasten holen frühere Eingaben zurück, Tab vervollständigt Namen und Befehle
9. Neu laden der Seite erzeugt keine Betreten-/Verlassen-Meldungen

Für Moderatoren

1. Per Klick auf einen Namen oder per Befehl: stummschalten, aus dem Raum werfen oder sperren
2. Stummschaltung und Sperre auf Zeit (z. B. 30 Minuten oder 2 Tage) oder dauerhaft, mit Grund und wahlweise für einen Raum oder für alle Räume
3. Nachrichten löschen und Rundrufe an alle Räume
4. Normale Benutzer sehen nicht, welcher Moderator gehandelt hat. Moderatoren und Admins selbst sind vor Moderation geschützt

Für Admins

1. Räume im ACP anlegen, sortieren, deaktivieren und löschen, auch mehrsprachig
2. Pro Raum: Benutzergrenze und langsamer Modus (z. B. nur eine Nachricht alle 30 Sekunden)
3. Rechte pro Benutzergruppe (lesen, schreiben, flüstern, Protokoll, moderieren …) und zusätzlich pro Raum für einzelne Gruppen oder Benutzer, zum Beispiel für einen abgeschotteten Team-Raum
4. Übersicht aller Stummschaltungen und Sperren mit Filter und "Aufheben"
5. Chat-Protokoll mit Tagesfilter, Aufbewahrungsdauer einstellbar
6. Box "Benutzer im Chat" für Seitenleiste oder Startseite, Zähler am Menüpunkt und "Chat-Raum …" in der Liste "Benutzer online"

Barrierefreiheit:

1. Screenreader lesen neue Nachrichten vor, alles ist per Tastatur bedienbar
2. Die Farben kommen komplett aus eurem Stil, auch im Dark Mode
3. Deutsche Texte erscheinen automatisch in Du- oder Sie-Form, je nach Foreneinstellung

Sicherheitsscan (wichtig!)

Bevor der Chat in die Testphase geht, wurde der komplette Quellcode (PHP, JavaScript und Templates) einem Sicherheitsscan unterzogen, also gezielt auf Schwachstellen geprüft: eingeschleuster Code (XSS), untergeschobene Anfragen (CSRF), SQL-Injection, Umgehen von Rechten und Datenlecks, etwa bei Flüsternachrichten, gelöschten Nachrichten oder Moderatorennamen.

Dabei kamen auch Punkte ans Licht, die vorher niemandem aufgefallen waren. Die wichtigsten:

1. Über die Schnittstelle ließen sich gelöschte und ältere Nachrichten abrufen, auch ohne das Recht für das Protokoll
2. Stummgeschaltete konnten über den Abwesenheitsgrund trotzdem Text in den Chat bringen
3. Mit vielen gleichzeitigen Anfragen ließ sich der Flutschutz austricksen
4. Über das Flüstern ließ sich herausfinden, ob jemand in einem Raum ist, den man selbst gar nicht sehen darf

Alle gefundenen Punkte sind behoben. Die wichtigsten sind zusätzlich durch automatische Tests abgesichert, damit sie nicht zurückkommen. Insgesamt prüfen 29 automatische Tests das Verhalten des Chats. Ein Belastungstest mit mehreren gleichzeitig aktiven Chatfenstern lief ohne einen einzigen Serverfehler.

Was außerdem für Sicherheit sorgt:

1. Nachrichten werden nie als HTML interpretiert, eingeschleuster Code bleibt reiner Text
2. Jede Aktion prüft die Rechte auf dem Server, nicht nur in der Oberfläche
3. Schreibende Anfragen brauchen das Sicherheits-Token von WoltLab
4. Datenbankzugriffe laufen nur über vorbereitete Abfragen (Prepared Statements)
5. Flutschutz, langsamer Modus, Längen- und Zeilenbegrenzung, Filter gegen unsichtbare Steuerzeichen und „Zalgo“-Text, dazu der Wortfilter von WoltLab
6. Datenschutz: Der Chat speichert keine IP-Adressen, alte Nachrichten werden nach der eingestellten Frist automatisch gelöscht, und der DSGVO-Datenexport von WoltLab enthält auch die Chatdaten
7. Bei der Deinstallation wird alles restlos entfernt

Ein Scan ersetzt natürlich nicht den Praxistest. Wer in der Beta eine Sicherheitslücke findet: bitte per PN an mich und nicht öffentlich posten, dann ist sie schnell geschlossen.

Zu euren Rückmeldungen

Shalin , danke für deine Liste! Der Reihe nach:

• Jemanden ignorieren: Ist drin. Der Chat beachtet die Ignorieren-Funktion von WoltLab. Nachrichten ignorierter Personen werden ausgeblendet, und wer jemanden blockiert, bekommt von ihm auch keine Flüsternachrichten. Das Profil erreicht man direkt per Klick auf den Namen in der Benutzerliste.
• Automatisch abwesend: Ist drin. Standard sind 10 Minuten ohne Aktivität. Im ACP lässt sich das frei einstellen, also auch auf 30 Minuten, oder ganz abschalten.
• Archiv bzw. Logsystem: Ist drin. Das Chat-Protokoll lässt sich nach Tagen durchblättern. Wer es lesen darf, legt man über die Rechte fest (Standard: Moderatoren und Admins, pro Raum anpassbar). Wie lange Nachrichten aufbewahrt werden, ist einstellbar (Standard 30 Tage, auf Wunsch unbegrenzt).
• Autologout: Teilweise. Wer das Fenster schließt, verlässt den Chat automatisch. Bricht die Verbindung ab, wird man nach einer einstellbaren Zeit entfernt (Standard 3 Minuten). Ein Abmelden nach längerer Untätigkeit bei offenem Fenster nehme ich in die Planung auf.
• Zitieren: Noch nicht. Erwähnen geht schon (Klick auf den Namen oder @ und Tab). Die Person sieht die Nachricht dann hervorgehoben und bekommt auf Wunsch einen Ton oder eine Desktop-Benachrichtigung. Echtes Zitieren kommt auf die Liste.
• Dateianhänge: Noch nicht, und das mit Absicht. Uploads sind sicherheitstechnisch der heikelste Teil eines Chats (Schadsoftware, Speicherplatz, Datenschutz und Urheberrecht bei Bildern). Wenn, dann sollen sie über das bewährte Anhangsystem von WoltLab laufen, mit eigenen Rechten und Größenlimits. Das steht auf der Wunschliste.

Schön, dass es mit der Überarbeitung von ddbmaster noch eine weitere Möglichkeit gibt, Auswahl schadet nie. Mein Chat ist ein kompletter Neubau: ein einzelnes Paket ohne Zusatzpakete, das später (evtl...) über den offiziellen Plugin-Store kommt. Dein Angebot zum Testen nehme ich sehr gern an, ich melde mich gleich per PN.

Frank-L , ganz unrecht hast du nicht. Ein Chat allein belebt kein Forum, und ein leerer Chat hilft niemandem. In manchen Communitys wird er aber nach wie vor gern genutzt, wie Shalin ja auch schreibt, zum Beispiel für feste Chatabende, als Support-Sprechstunde oder als interner Team-Raum. Und ja, ich habe eine Community, die braucht einen zuverlässigen und sicheren Chat. Tims Chat wurde da aus Sicherheitsgründen bereits länger entfernt.

Uuuund... Deshalb ist der Chat so gebaut, dass er nicht stört, wenn ihn gerade niemand braucht:

1. Er lässt sich im ACP mit einem Klick abschalten.
2. Nennenswerte Last entsteht nur, solange jemand den Chat geöffnet hat, und bei Ruhe oder im Hintergrund fragt er automatisch seltener nach. Ein Zusatzserver läuft nicht.
3. Der Zähler am Menüpunkt erscheint nur, wenn wirklich jemand im Chat ist. So sieht man auf einen Blick, wann sich ein Besuch lohnt.
4. Mit Ton und Desktop-Benachrichtigung kann man den Chat nebenbei offen lassen und verpasst trotzdem nichts, wenn man angesprochen wird.
5. Wer das Recht für das Protokoll hat, kann auch später nachlesen, was besprochen wurde.

Wie es weitergeht

Als Nächstes kommt die Testphase. Wer mittesten möchte, meldet sich gern hier im Thema. Danach geht der Chat wie angekündigt kostenlos in den WoltLab Plugin-Store. Voraussetzung ist nur WoltLab Suite Core 6.2, also auch jedes Burning Board 6.2. Ein eigener Server oder Node.js ist nicht nötig. Dann noch, ob das da überhaupt erwünscht ist.. Weiß nicht, wie man da was uppt.

Viele Grüße

Alex

Hallo zusammen,

ich möchte euch heute ein Projekt vorstellen, an dem ich gerade arbeite: ein komplett neues Chatsystem für WoltLab Suite 6.2.

Warum ein neuer Chat?

Viele von euch kennen Tims Chat. Leider wird er nicht mehr weiterentwickelt und läuft ab WoltLab 6.1 nicht mehr. Statt ihn notdürftig zu flicken, baue ich den Chat von Grund auf neu: modern, stabil und passend zur aktuellen WoltLab-Version.

Was geplant ist:

• Ein einziges Paket: hochladen, installieren, fertig. Keine Zusatzpakete, kein extra Server, kein Node.js. Läuft auf ganz normalem Webspace.
• Mehrere Chaträume, im ACP einfach anzulegen und zu sortieren
• Ein durchdachtes Rechtesystem: pro Benutzergruppe und zusätzlich pro Raum einstellbar (wer darf lesen, schreiben, moderieren …)
• Moderation: Benutzer stummschalten, aus Räumen entfernen oder sperren (auf Zeit oder dauerhaft) und Nachrichten löschen
• Flüstern (private Nachrichten im Chat), /me-Aktionen und Abwesenheitsstatus
• Smileys, Erwähnungen mit @Name und automatische Links
• Benutzerliste mit Avatar und Status
• Wer ist im Chat?-Box für Sidebar oder Startseite
• Barrierearm: per Tastatur bedienbar, mit Screenreader nutzbar, gute Kontraste
• Optimiert für Smartphone und Tablet
• Sprachen: Deutsch und Englisch

Kosten
Der Chat wird komplett kostenlos sein. Nach der Testphase möchte ich ihn auch im WoltLab Plugin-Store veröffentlichen.

Eure Ideen sind gefragt!

Was ist euch bei einem Forenchat besonders wichtig? Welche Funktion habt ihr bei anderen Chats vermisst? Schreibt es gern hier ins Thema. Ich nehme eure Wünsche in die Planung auf.

Ich halte euch hier über den Fortschritt auf dem Laufenden.

Viele Grüße

Alex

ist gefixt

Zitat von Frank-L

kein CUDA

Stimmt. Das kann Apple ja auch nicht. Daran habe ich noch garnicht gedacht.

Ich sach ja.. das ist unbezahlbar geworden, so ne richtig richtig geile Kiste mit ner Blackwell 6000 PRO. Das wäre mein Favorit fürn Zweitrechner, also nur wo bestimmte KI Sachen laufen. Da passen dann auch unquantisierte zukünftige grosse Modelle rein. Rechnen lassen für Video, Audio kann man das ja auf den anderen Karten machen.

Aber so ne 6000er... lechzzzz.

Bald ist ja Weihnachten. Stimmt!

Zitat von Shalin

Wenn man übers Forenmenü an die Unterpunkte kommen möchte mit der Maus, komme ich nicht dran.

tatsächlich.. da hat sich ein Fehler eingeschlichen. Ich dachte, ich hätte ihn schon gefixt. Danke Shalin für die Meldung.

Fixe ich gleich noch. Oder erst morgen.... bin noch an was anderem dran..

https://www.cyberport.de/apple-und-zube…0c-gpu-bto.html

Habsch mal auch so geguckt.. was das kostet. Also ich finde... wenn damit alles läuft, ist das sehr günstig.

Frage ist nur, wo ist der Haken?

Hallo zusammen,

das Forum hat ein neues Design bekommen. Das alte "SEO‑Netzwerk"-Logo hat ausgedient, und optisch passt das Forum jetzt zum restlichen Auftritt von SEO NW.

Was ist neu?

Hell oder dunkel: Das Forum richtet sich automatisch nach der Einstellung eures Geräts. Wenn ihr angemeldet seid, könnt ihr das Farbschema auch fest einstellen: im Benutzermenü unter Einstellungen und Privatsphäre → Allgemein → Bevorzugtes Farbschema.

• Neuer Kopfbereich: Logo, Navigation und Suche sitzen in einer nachtblauen Leiste. Am Desktop bleibt sie beim Scrollen oben stehen.
• Übersichtlichere Forenliste: Jedes Forum zeigt Themen und Beiträge auf einen Blick, die Unterforen stehen als kleine Schaltflächen darunter.
• Angemeldet erkennt ihr neue Beiträge am blauen Forensymbol und an der Zahl neben dem Forennamen.
• Beiträge als Karten: Jeder Beitrag steht für sich. Lange Diskussionen lesen sich dadurch angenehmer.
• Fürs Handy angepasst: Kopfleiste, Menü und Listen sind auf kleine Bildschirme abgestimmt.
• Schrift vom eigenen Server: Die neue Schrift (DM Sans) kommt direkt von seo-nw.de, ohne Anfragen an Google Fonts.
• Neue Symbole: Browser-Tab, Lesezeichen und Handy-Startbildschirm zeigen jetzt das SEO-NW-Zeichen. Geteilte Links zum Forum bekommen ein eigenes Vorschaubild.

Sieht bei euch etwas komisch aus?

Dann ladet die Seite einmal mit Strg + F5 neu (Mac: Cmd + Shift + R). Oft steckt noch das alte Design im Browser-Cache.

Eure Meinung ist gefragt

Ein neues Design ist selten auf Anhieb perfekt. Wenn euch etwas auffällt, schreibt es bitte hier ins Thema: ein Darstellungsfehler, zu wenig Kontrast, etwas, das auf dem Handy hakt, oder etwas, das ihr vermisst. Am meisten hilft ein Screenshot mit kurzer Angabe zu Gerät, Browser und hell oder dunkel.

Lob nehme ich natürlich auch gern. 😉

Viele Grüße

Alex

Zitat von Matze

Apfel Freund

Du armer

Zitat von Frank-L

Tatsächlich ist der Ablauf seit Jahren immer der gleiche und dadurch rankt es, wenn es rankt, immer zuerst bei Bing und nach einem halben bis einem Jahr zieht es bei Google nach.

Kann ich leider nicht so unterschreiben..

Es kommt auf die Betrachtungsweise an, also du hast Recht, das man bei Bing mit Moneykeys schneller ranken kann. Also auch Keys, wovon man Nachts träumt.

Ist eine Seite schon gealtert, und rankt bei Google, allerdings bei Bing nicht, hat man mM nach ein zukünftiges Problem. Denn Bing filtert Spam, besonders Linkspam sehr gut aus. Das funktioniert ne Weile bei Google, Bing sollte man da als Indikator nutzen. Wenn das so ist, ist die Wahrscheinlichkeit gross, das es ein Hopping zB bei den Google Updates geben könnte.

Also man gerät eher in Filter bei Updates. Dann íst es mal Top, mal Flop und die Gefahr besteht durchaus auch in eine manuelle Penalty zu geraten.

Also Bing gerne nutzen, bei der Search-Console.pro kann man das mittlerweile auch gut vergleichen bzw auch Bing hinzufügen (wer das noch nicht aufn Schirm hatte)

Zitat von Frank-L

Bing ist am Anfang immer ein guter Indikator dafür

Tatsächlich sehe ich das genauso. Bing nutze ich immer als Indikator. Zusätzlich prüfe ich beide Rankings um zB mich oder die Konkurrenz zu analyisieren. Ist man in einer von beiden Suchmaschinen unterschiedlich vertreten, könnte das (kommt drauf an!) ein Alarmsignal sein.

Besonders bei: Google Top, Bing Flop.

Nee. Also Videospur steht schon länger. Bin damit (auch noch) nicht zufrieden.. allerdings Audio bin ich grade zusätzlich daran.. Der "Erzähler" hörte sich noch Mist an. Nun weiss ich allerdings (wieder was gelernt) worans liegt/lag. Bei der Temperatur sollte auf keinen Fall "1" stehen. Dann hörts sichs komisch an, nicht natürlich.

Gleich wirds dann noch zusammengewürfelt.

Er rechnet soeben auch... allerdings ist das schon etwas aufwändiger in 4K. Man sieht.. eigentlich reicht das auch nicht aus..

Moin zusammen,

in letzter Zeit fragen immer wieder Leute, was man an Hardware braucht, um KI-Modelle lokal laufen zu lassen. Statt das jedes Mal einzeln zu beantworten, stelle ich hier mein eigenes Setup vor. Dazu schreibe ich ein paar Gedanken, was davon wirklich nötig ist und was eher Luxus.

Mein Arbeitsrechner ("Lucy1")

• CPU: AMD Ryzen 9 7950X3D (16 Kerne), wassergekühlt
• Mainboard: ASUS ROG Strix X670E-F Gaming WiFi
• RAM: 128 GB DDR5 (4 × 32 GB)
• GPU 1: ASUS ROG Strix LC RTX 4090, 24 GB VRAM, wassergekühlt
• GPU 2: ASUS Prime RTX 5060 Ti, 16 GB VRAM, neu dazugekommen, speziell für lokale Modelle
• SSDs: Samsung 990 EVO Plus 4 TB + 2 × Samsung 990 PRO 2 TB (alle NVMe)
• Netzteil: ASUS ROG Thor 1200W Platinum II
• Gehäuse: ASUS ROG Hyperion GR701
• OS: Windows 11 Pro, für die KI-Sachen zusätzlich Linux

Mit beiden Karten komme ich auf 40 GB VRAM.

Software

Als Backend nutze ich Ollama. Es ist schnell eingerichtet, läuft stabil und bringt eine API mit, an die man andere Tools andocken kann. Aktuell nutze ich unter anderem GLM-4.7-Flash mit 64k Kontextfenster. Darauf lasse ich testweise Claude Code gegen das lokale Modell laufen. So kann ich agentische Coding-Workflows komplett lokal ausprobieren.

Ein Tipp dazu: Das Standard-Kontextfenster von Ollama ist je nach Version eher knapp. Für Coding-Agenten solltet ihr es unbedingt hochsetzen. Bei mir steht es über OLLAMA_CONTEXT_LENGTH meist auf 65536.

Was braucht man wirklich?

Ehrlich gesagt: deutlich weniger als das hier. Mein Rechner ist gleichzeitig Arbeitsgerät, Entwicklungsmaschine und Spielwiese. Für den Einstieg braucht man das meiste davon nicht.

Die wichtigste Zahl ist der Grafikspeicher (VRAM). Das Modell sollte komplett in den Speicher der Grafikkarte passen, sonst wird es zäh. Als grobe Faustregel braucht ein quantisiertes Modell (Q4) etwa 0,6 GB pro Milliarde Parameter. Dazu kommt Reserve für den Kontext.

• Einstieg (12–16 GB VRAM), z. B. RTX 3060 12 GB, RTX 4060 Ti 16 GB oder RTX 5060 Ti 16 GB: Modelle bis etwa 14B laufen flüssig. Das reicht zum Reinschnuppern, für Texte, Zusammenfassungen und einfache Automatisierungen.
• Ernsthaft (24 GB VRAM), z. B. eine gebrauchte RTX 3090 oder eine RTX 4090: Modelle um 30B laufen in Q4 komfortabel, auch mit größerem Kontext. Die gebrauchte 3090 gilt nach wie vor als Preis-Leistungs-Tipp.
• Darüber: Man kann mehrere Karten kombinieren, so wie ich mit 4090 + 5060 Ti. Oder man nimmt viel Arbeitsspeicher für Modelle, die teilweise in CPU und RAM ausgelagert werden.

Der Rest ist weniger kritisch:

• RAM: 32 GB als Minimum, 64 GB sind angenehm. Viel RAM hilft vor allem bei MoE-Modellen, die man teilweise in den Arbeitsspeicher auslagern kann. Auf AM5 lieber zwei große Riegel als vier kleine, denn mit vier Riegeln sinkt meist der mögliche Takt.
• CPU: eher nebensächlich, solange das Modell auf der GPU läuft. Ein aktueller 8-Kerner reicht.
• SSD: NVMe lohnt sich. Modelle sind schnell mal 10–40 GB groß, und die Sammlung wächst schneller als gedacht.
• Netzteil: nicht sparen, besonders mit einer 4090 oder mehreren Karten.
• Alternative Mac: Apple Silicon mit viel gemeinsamem Speicher ist ebenfalls interessant, weil der Arbeitsspeicher auch als Grafikspeicher dient. Das ist meist langsamer als eine 4090, dafür passen auch große Modelle rein.

Lohnt sich lokal überhaupt?

Für viele Aufgaben sind Cloud-Modelle stärker und bequemer. Lokal lohnt sich vor allem aus drei Gründen:

• Datenschutz: Die Daten verlassen den eigenen Rechner nicht.
• Kosten: Bei Massenverarbeitung fallen keine laufenden API-Kosten an.
• Freiheit: Man kann ohne Limits experimentieren.

Fragen gern hier in den Thread. Einen Erfahrungsbericht zum Betrieb mit zwei Grafikkarten reiche ich nach, sobald ich genug damit gearbeitet habe.

Auch könnt ihr gerne eure Setups posten