Flint ist schnell, aber Qwen 3.8 27B codet besser

Welche lokale KI codet am besten? Qwen 3.8 27B, Flint, Nanbeige 4.3 und Bonsai 2 27B bauen dieselben 17 Aufgaben und arbeiten danach als Agent in OpenCode in zwei meiner Projekte. Getestet auf Grafikkarten mit 12, 16 und 24 GB, einem Mac mini M4 Pro und der ThinkStation PGX. 📺 Meine Videos dazu: Flint    • Flint ist da: 3x schneller als Qwen 3.8 27B   · Nanbeige    • Nanbeige 4.3 ist da: Besser als Qwen 3.8?   · Qwen    • Qwen 3.8 27B: Eine Einstellung macht es 9x...   📥 Alle Prompts, Bauten und Messwerte zum Download: 👉 https://ichbinfabian.com/toolbox/vier... Du brauchst Hilfe bei der KI-Integration in deinem Unternehmen? Buch dir hier dein kostenloses Gespräch: 👉 https://ichbinfabian.com/termin?utm_s... Kooperation: Die Lenovo ThinkStation PGX wird mir von HEINZSOFT zum Arbeiten und Testen bereitgestellt. Für diese Videos bekomme ich kein Honorar. HEINZSOFT und die ThinkStation PGX (Partnerlink): https://www.heinzsoft-shop.de/info/le... ⏱ Kapitel: 0:00 Vier lokale Coding-Modelle 1:16 Die Kandidaten 2:18 Aufbau: llama.cpp, Kontext und Rechner 3:53 Runde 1: 17 Bauten 4:32 Storch auf dem Fahrrad 5:44 Voxel-Pagode 6:53 Hilft mehr Nachdenken? 7:38 Spielbares Klavier 8:57 Punktestand und Rechenzeit 10:01 Runde 2: Agent in OpenCode 11:54 Drehknopf in generatestl 13:03 Warum Flint, Nanbeige und Bonsai scheitern 13:52 Flint mit 262.144 Token Kontext 15:34 YAP und Qwens erster Lauf 16:50 Läuft das bei euch? 18:57 Tempo 20:16 Vorhersage (MTP) 21:14 Welches Modell wofür? 23:18 Fall 1: Agent im Projekt 25:06 Empfehlung je Grafikkarte 27:18 Fall 2: kleine Aufgaben mit Flint 30:16 Fall 3: wenig Speicher mit Bonsai 31:42 Nanbeige 4.3 32:49 Mac mini M4 Pro 33:40 Qualität kleinerer Dateien 34:44 Wo stellt ihr das ein? 35:16 Fazit und nicht Getestetes ERGEBNIS Runde 1, 17 Bauten, blind bewertet, höchstens 85 Punkte: Qwen 68,5, Flint 54,5, Nanbeige 49, Bonsai 46. Rechenzeit auf der PGX: Flint 0,84 Stunden, Bonsai 1,79, Qwen 3,96, Nanbeige 30,46. Runde 2, Agent in OpenCode, versteckte Tests, höchstens 100 Punkte, meist ein Lauf: Drehknopf in generatestl mit 65.536 Token: Qwen 93,33 auf 16 und 24 GB, auf der PGX im zweiten Lauf 100 (erster Lauf 28,75). Flint, Nanbeige und Bonsai 20 (nur alte Tests). Flint mit 262.144 Token auf der PGX: 95 in 180 Minuten, am Zeitlimit. YAP (PGX): Qwen 100 in 34,9 Minuten, Bonsai 100 in 109,5 Minuten, Flint und Nanbeige 30. EMPFEHLUNG QWEN 3.8 27B (Mietkarten ohne Monitor, % = gleiches nächstes Wort wie Q8_0) 12 GB: UD-IQ3_XXS (75 %), 32.768 Token, 21,48 Token/s. Als Agent nicht geschafft. 16 GB: UD-IQ4_XS (85 %), 32.768 Token, 27,94 Token/s. Agent: 65.536 Token, KV-Cache q8_0, 21,73 Token/s. 24 GB: UD-Q4_K_XL (91 %), 32.768 Token, 42,39 Token/s. Agent: 65.536 Token, 36,66 Token/s. Mac mini M4 Pro 48 GB: UD-Q4_K_XL, 10,11 Token/s, mit MTP 20,04. EINSTELLEN (llama.cpp · LM Studio · Ollama) Kontext: -c 65536 · Context Length · OLLAMA_CONTEXT_LENGTH oder num_ctx KV-Cache 8 Bit: fa on -ctk q8_0 -ctv q8_0 · K und V-Cache auf Q8_0 · OLLAMA_KV_CACHE_TYPE=q8_0 mit OLLAMA_FLASH_ATTENTION=1 Denkstufe Qwen und Bonsai: reasoning_effort medium · keine Auswahl · think Vorhersage Qwen: --spec-type draft-mtp --spec-draft-n-max 4 Getestet mit Programm: llama.cpp b12030 (PGX-Build a91eab6), Bauten von Nanbeige und Qwen mit b11552 Rechner: PGX GB10 128 GB, Mac mini M4 Pro 48 GB, gemietet: RTX 3060 12 GB, RTX 5060 Ti 16 GB, RTX 3090 24 GB Dateien PGX: Qwen Q8_0, Flint Q8_0, Nanbeige Q8_0, Bonsai Q2_0 Kontext: 65.536 Token für Bauten und Agent (Nanbeige auf 16 und 24 GB: 32.768; Zusatzlauf Flint auf der PGX: 262.144) Denken: Qwen medium; Flint Werkseinstellung; Nanbeige Werkseinstellung; Bonsai medium Sampling: temperature 1,0, top_p 0,95, top_k 20, min_p 0,0; Bonsai min_p 0,05 Prompts: Deutsch, Pagode Englisch Bewertung: Bauten blind durch zwei KI-Gutachter, Agent mit versteckten Tests Harness: OpenCode 2.2.5 ohne MCPs und Skills, eigene Config Nicht getestet: AMD, Intel Arc, zwei Karten, 8 und 32 GB, Macs unter 48 GB, LM Studio, Ollama (außer Flint auf dem Mac), Agent mit vollem Kontext (außer Flint auf der PGX) 🔗 Modelle und Projekte: Qwen 3.8 27B: https://huggingface.co/Qwen/Qwen3.8-27B Qwen GGUF: https://huggingface.co/unsloth/Qwen3.... Flint: https://recursive.com/updates/introdu... Flint GGUF: https://huggingface.co/unsloth/flint-... Nanbeige 4.3 33B: https://huggingface.co/Nanbeige/Nanbe... Ternary Bonsai 2 27B: https://huggingface.co/prism-ml/Terna... generatestl: https://github.com/Nicremo/generatestl YAP: https://github.com/Nicremo/yap Meine Skool, Eure Community: https://www.skool.com/die-ki-werkstat... 📸 Instagram:   / ichbinfabiande   💬 Welche Werte habt ihr? Schreibt sie in die Kommentare!