P104 跑起 35B：14 token/s！然后一句"你好"把它卡死了 | 能跑 ≠ 能干（第 21 集）

这次翻车很特别：没有下载失败，没有报错红字——llama.cpp 把千问 3.6-35B-A3B（22.9GB）真的在 P104-100 8GB 上跑起来了，生成速度 14 token/s。我那张双 M40 也就 30 t/s，我觉得可以。 然后我把 DSH agent harness 连上去，问了一句"你好"——卡死了。 破案：llama.cpp 默认上下文只有 4096 token，而 agent 每轮要塞 system prompt + 工具定义（光工具 schema 就几千 token），留给对话的窗口所剩无几。想扩？-c 每加一档，KV 缓存跟着涨，权重本来就溢出在 CPU 内存里算（14 t/s 就是这么来的），速度继续往下掉——8GB 显存能分给 KV 的只剩零头。我早习惯 128K 上下文的本地模型和 1M 上下文的在线模型，回到这台机器被吊起来暴打。 结论：8GB 显存"能跑"，但干不了活。判断一张卡别看能不能加载，要看能不能干活。 ▍章节 0:00 跑起来了：14 token/s 0:37 翻车不在加载阶段 1:03 一句"你好"，卡死 1:37 上下文被吊起来暴打 2:20 "跑起来" vs "能干" 2:56 8GB 卡的三条正路 3:29 看干活，别看加载 ▍系列 陕西愣娃 · 本地大模型系列 上集：《Strata 要的是强 CPU，llama.cpp 根本不要》 第 19 集：《P104 跑大模型，被 2012 年 CPU 背刺》 #矿卡 #P104 #llamacpp #上下文窗口 #KV缓存 #本地大模型 #MoE #洋垃圾