125B-KI auf einer 12-GB-GPU: Wo steckt der Rest? | Strata & Qwen3.8-Flash-Next

125 Milliarden Parameter, aber nur 12 Gigabyte Grafikspeicher: Das passt nicht – und läuft laut den Entwicklern trotzdem. Dieses Video zeigt an einem aufgeschnittenen Gaming-PC, wo der Rest des Modells steckt: die Software Strata lässt Qwen3.8-Flash-Next auf einer 12-GB-Grafikkarte laufen, indem sie Grafikkarte, Prozessor, Arbeitsspeicher und SSD zusammen nutzt. Du brauchst keine Vorkenntnisse; VRAM, RAM und Token werden erklärt. Danach weißt du, was ein Mixture-of-Experts-Modell ist, warum nicht alle 125 Milliarden Parameter bei jedem Token arbeiten und wie viel RAM die Fassungen laut Projekt brauchen. Darum geht es – Die Größe: 125 Milliarden Parameter entsprechen mit 16 Bit pro Zahl rund 250 Gigabyte (eigene Rechnung) – dazu eine Nachschlagetabelle mit 51 Milliarden Zahlen. – Quantisierung: Die Zahlen werden gröber gerundet. Die kleinste Fassung, Q2_0, ist mit 66 Gigabyte Download deutlich kleiner, passt aber immer noch nicht in 12 Gigabyte. – Mixture of Experts: 48 Schichten mit je 512 Experten, pro Token wählt ein Router 10 davon pro Schicht aus. Aktiv ist nur ein kleiner Teil (etwa 6 von 125 Milliarden Parametern), gespeichert sein muss aber alles. – Die Karte des Rechners: Auf der Grafikkarte liegen die gemeinsamen Teile und ein Cache häufig gefragter Experten. Im RAM liegen alle Experten; fehlt einer im Cache, verarbeitet ihn die CPU dort, während die GPU rechnet. Ein Teil wird per PCIe zur GPU übertragen. Auf der SSD liegt im Normalmodus die Nachschlagetabelle. – Raten und Prüfen: Ein eingebauter Helfer rät bis zu drei Token voraus, das große Modell prüft sie in einem Durchgang. – Anforderungen: mindestens 12 GB VRAM, 32 GB RAM und etwa 80 GB freier Platz laut Projekt; wie viel RAM wirklich nötig ist, hängt von Fassung, Grafikkarte, Einstellungen und Kontext ab. Kapitel 00:00 Das Problem: 125 Milliarden auf 12 Gigabyte 0:38 Die Zahlen: Parameter, VRAM, RAM, SSD 1:23 Quantisierung: gröber runden, kleiner speichern 2:17 Mixture of Experts: 24.576 Experten, wenige aktiv 3:11 Die Karte im Rechner: GPU-Cache, CPU, RAM, SSD 4:26 Raten und Prüfen: mehr Token pro Durchgang 5:18 Was man wirklich braucht: RAM, VRAM, Lizenz 6:41 Tempo: Entwicklerangabe und unser RTX-3090-Test 8:06 Zusammenfassung Angaben der Entwickler und eigene Beobachtungen Alle Zahlen zu Anforderungen, Geschwindigkeit und dem Gewinn durch Raten und Prüfen sind Angaben der Strata-Entwickler beziehungsweise der Modell-Autoren. Im Film sind sie als solche gekennzeichnet. Die Entwickler nennen für ihren PC (RTX 5070, Ryzen 5 7600, 64 GB RAM) bei Q2_0 bis zu 94 Token pro Sekunde bei kurzem Kontext. Unser eigener Test lief auf einer RTX 3090 mit 24 GB VRAM, einem Ryzen 9 5900X und einer NVMe-SSD: zwei KI-Sessions gleichzeitig, mit Raten und Prüfen, je etwa 80 bis 100 Token pro Sekunde beim Schreiben, rund 70 GB RAM belegt, Kontextfenster 256.000 Token, zeitweise etwa 150.000 im Kontext. Einen deutlichen Einbruch der Schreibgeschwindigkeit haben wir nicht festgestellt. Das sind Praxisbeobachtungen, keine unabhängige Messreihe; Einlesezeit und die Zeit bis zum ersten Token haben wir nicht gemessen. Die beiden Rechner sind verschieden, die Werte lassen sich nicht direkt vergleichen. Nicht in diesem Video: Installationsanleitung, unabhängiger Benchmark, Vergleich mit anderen Programmen, Antwortqualität des stark gerundeten Modells. Quellen (englisch; Stand der Projektdateien: Strata-Repository, Commit 296b59d, 13.10.2026) Strata – Projektseite und README: https://github.com/Niko1221/Strata Strata – How it works: https://github.com/Niko1221/Strata/bl... Strata – Details (Messmethode, Größen): https://github.com/Niko1221/Strata/bl... Strata – Models (Fassungen, RAM-Faustregel, Coder): https://github.com/Niko1221/Strata/bl... Strata – Batching (mehrere Sessions): https://github.com/Niko1221/Strata/bl... Qwen-Team – On the Design of Qwen3.8-Next Architecture (arXiv 2608.30320): https://arxiv.org/abs/2608.30320 Qwen3.8-Flash-Next – Model Card: https://huggingface.co/Qwen/Qwen3.8-F... Wie ein Sprachmodell grundsätzlich seine Antworten baut, zeigt unser Film „Wie funktioniert ChatGPT?“:    • Wie funktioniert ChatGPT? So entsteht eine...   Deutsche Untertitel sind zuschaltbar. Hast du Strata selbst ausprobiert – mit welcher Grafikkarte und wie viel RAM? Schreib es in die Kommentare. Wenn dir die Erklärung geholfen hat, abonniere den Kanal: Hier erscheinen weitere Videos zu KI und IT-Grundlagen, Schritt für Schritt erklärt. Hinweis zur Produktion: Dieses Video wurde mit Unterstützung von KI-Werkzeugen erstellt. Die Sprecherstimme ist eine synthetische Version der eigenen Stimme des Kanalbetreibers. Die fachlichen Inhalte wurden redaktionell geprüft. Website: https://bitsicht.de/ Impressum: https://bitsicht.de/impressum/ Datenschutz: https://bitsicht.de/datenschutz/ Bitsicht – Von Bit bis KI. #KünstlicheIntelligenz #LokaleKI #MixtureOfExperts