Lokale KI: 125B-Modell auf einer Gaming-Grafikkarte? Strata im Test

Lokale KI auf der Grafikkarte: Strata soll das 125B-Modell Qwen 3.8 Flash auf normalen Gaming-Grafikkarten richtig schnell machen. Ich habe es auf 7 Grafikkarten von der RTX 3060 bis zur RTX 5090 nachgemessen, gegen llama.cpp, Ollama und einen KI-Computer mit 128 GB. Du brauchst Hilfe bei der KI-Integration in deinem Unternehmen? Buch dir hier dein kostenloses Gespräch: 👉 https://ichbinfabian.com/termin?utm_s... Kapitel 0:00 125 Milliarden Parameter auf einer Gaming-Grafikkarte 1:03 Der Kommentar, der alles ausgelöst hat 1:30 Was ist Strata? 3:02 Mein PC reicht nicht, so habe ich getestet 5:09 Antwort schreiben: wie schnell kommt die Antwort? 5:59 Prompt einlesen 7:15 Stimmt der Faktor acht? 8:50 Strata als Coding-Agent 9:28 Die CPU rechnet mit 11:22 8 GB VRAM: läuft, aber zäh 12:01 Und Ollama? 13:10 Flash oder das normale Qwen 3.8 27B? 15:14 Warum ist Strata so schnell? 17:31 Der KI-Computer mit 128 GB (ThinkStation PGX) 19:11 So installiert ihr Strata 19:34 Die Haken 21:21 Fazit In diesem Video siehst du: ✅ Strata gegen llama.cpp mit exakt derselben Modelldatei (Qwen3.8-Flash-Next IQ3_XXS, 75,8 GB) auf RTX 3060, 5060, 5060 Ti, 5070, 5070 Ti, 5080 und 5090 ✅ wie schnell die Antwort kommt: auf der RTX 5070 Ti 95 statt 23 Token pro Sekunde ✅ wie schnell lange Prompts eingelesen werden, bis 64.000 Token, und eine echte Coding-Agent-Sitzung ✅ warum bei Strata auch CPU, RAM und Steckplatz über das Tempo entscheiden ✅ Ollama und das normale Qwen 3.8 27B im Vergleich, dazu die Lenovo ThinkStation PGX (DGX Spark) mit 128 GB ✅ was ihr braucht: ab 12 GB VRAM und 32 GB RAM, mit 64 GB RAM läuft jede Modellgröße Gemessen habe ich auf gemieteten Karten bei Vast.ai, jede Karte mit derselben Testreihe. Die ganze Messreihe hat rund 12 Dollar gekostet. Kein Sponsoring. Mein eigener PC (RTX 3070, 16 GB RAM) erfüllt die Anforderungen nicht, deshalb die Mietmaschinen. Auf der RTX 5090 ist Strata bei mir auf drei Maschinen nicht gestartet, dort zeige ich llama.cpp und Ollama. Links und Quellen Strata auf GitHub: https://github.com/Niko1221/Strata Qwen3.8-Flash-Next (Modellkarte): https://huggingface.co/Qwen/Qwen3.8-F... Getestete Datei IQ3_XXS (ISTA-DASLab): https://huggingface.co/ISTA-DASLab/Qw... llama.cpp: https://github.com/ggml-org/llama.cpp Ollama-Fehler zu diesem Modell (Issue 18817): https://github.com/ollama/ollama/issu... Ollama-Bibliothek Qwen 3.8: https://ollama.com/library/qwen3.8 Das Video von Codacus, um das es geht:    • This Engine Makes 177B Qwen 3.8 Flash Extr...   Gemietete Karten: https://cloud.vast.ai Meine Skool, Eure Community: https://www.skool.com/die-ki-werkstat... Dieses Video behandelt: lokale KI, lokale KI Grafikkarte, Strata, Qwen 3.8 Flash, Qwen3.8-Flash-Next, llama.cpp, Ollama, Qwen 3.8 27B, Mixture of Experts, RTX 5070 Ti, RTX 5090, RTX 3060, local LLM, DGX Spark, ThinkStation PGX, KI lokal ausführen 📸 Instagram:   / ichbinfabiande   💬 Welche Grafikkarte und wie viel RAM habt ihr? Schreibt es in die Kommentare!