Riesiges KI-Modell auf einer RTX 3090: 116 Token/s mit Strata! LLM Benchmark mit Qwen 3.8 Flash Next

Ein riesiges KI-Modell lokal auf einem Gaming-PC betreiben? Mit Strata erreicht mein Testsystem aus RTX 3090, 24 GB VRAM und nur 32 GB RAM rund 116 Token pro Sekunde. Doch welchen Preis zahlt man dafür bei der Qualität? Ich teste Strata auf Consumer-Hardware und zeige, wie die Technik große KI-Modelle auf Grafikkarten mit begrenztem Speicher nutzbar macht. Dazu vergleichen wir unterschiedliche Quantisierungen und schauen, ob Strata auch auf einem KI-Server mit einer RTX Pro 6000 Vorteile bringt. Im Video erfährst du: • Wie Strata mit GPU, RAM, CPU und SSD zusammenarbeitet • Welche Hardware du für lokale KI brauchst • Wie schnell das Testsystem bei einzelnen und parallelen Anfragen ist • Wo die Grenzen der 2-Bit-Quantisierung liegen • Für wen sich Strata lohnt – und wann es keinen Vorteil bringt Wichtig zur Einordnung: Die 116 Token/s wurden mit der 2-Bit-Variante gemessen. Der Qualitätsvergleich ist ein erster Kurztest und ersetzt keinen ausführlichen Test komplexer Aufgaben. Die Benchmark-Ergebnisse findest du hier: https://www.llm-benchmark.de Wie viel VRAM hat deine Grafikkarte? Schreib dein Modell und die Speichergröße in die Kommentare – das hilft mir bei der Auswahl für kommende Tests. Abonniere den Kanal für weitere Tests zu lokaler KI, KI-Modellen und Hardware. 00:00 Große KI auf deinem Gaming-PC? 00:24 Das Testsystem: RTX 3090 und 32 GB RAM 01:00 Strata: Große Modelle mit wenig VRAM 03:04 Echter Fortschritt oder nur Hype? 04:36 So funktioniert Strata 05:51 Wie GPU, RAM, CPU und SSD zusammenarbeiten 07:55 Der Trick für mehr Geschwindigkeit 09:12 Warum lokale KI damit spannender wird 10:17 Hardware-Anforderungen und Empfehlungen 10:56 Testaufbau: RTX 3090 vs. RTX Pro 6000 12:09 2-Bit vs. 4-Bit: Was Quantisierung verändert 13:06 Benchmark: 116 Token pro Sekunde 14:53 Leistung bei parallelen Anfragen 15:55 Wo die 2-Bit-Variante an Grenzen stößt 17:44 Strata vs. llama.cpp auf der RTX Pro 6000 19:09 DGX Spark und spannende Strata-Forks 20:43 Qualitätsvergleich: 200 Aufgaben im Kurztest 22:13 Für wen lohnt sich Strata? 22:32 Wie viel VRAM habt ihr? #LokaleKI #RTX3090 #Strata