AI 为什么要套 Harness？｜Harness 系列 第 2 期

就算是 AI 会做的题，它选对答案的时候，也只有 42% 左右。这就是 AI 智能体为什么需要 harness：模型周围的一切。上一期我把 harness 比成厨房，这一期反过来讲：厨房里的每一样东西，都暴露了模型的一根软肋，一件它自己做不到的事。 这期讲四根软肋： • 菜谱（提示词）：「一步一步想」为什么有用，它暴露了模型什么 • 工具：我自己的小实验，同一个模型，一个参数都不改，200 道题从对 35 道变成对 157 道 • 台面（上下文）：为什么东西给得越多，答得反而越差（Lost in the Middle、Context Rot） • 试吃员（检查）：为什么单独的检查员比模型自查更靠谱 • 反转：软肋会变。模型变强以后，Anthropic 把自己 harness 里的零件拆掉了几个；一个只有一百来行代码的 agent，在 SWE-bench Verified 上和 Anthropic 自己那套只差四个百分点左右 章节： 0:00 AI 为什么要套 harness？ 1:33 上一期：厨房 1:57 第一根软肋：菜谱 3:12 第二根软肋：工具 4:37 第三根软肋：台面 5:46 第四根软肋：试吃员 6:55 自查 vs 单独的试吃员 8:00 反转：软肋会变 9:21 是哪一根软肋？ 9:58 第三期：AI 能不能自己搭 harness？ 上一期（什么是 harness）：   • AI Agent 的工作原理是什么？什么是 Harness｜Harness 系列 第...   英文版 English version（W-AI）：   • Why Do AI Agents Need a Harness? | Harness...   我的实验：Qwen2.5-3B Instruct，本地运行，GSM8K 前 200 题，参数一点没动。200 道题里差几道在统计上不显著，只能说「在我这 200 道题里」。 参考来源（部分是预印本，还没经过同行评审）： • Brown et al. 2024, Large Language Monkeys. arXiv:2407.21787（42% 是我按他们的数字算的：41.41 ÷ 98.44） • Anthropic, Harness design for long-running application development (2026) • Feng et al. 2023. arXiv:2305.15408 • Merrill & Sabharwal. arXiv:2310.07923 • Liu et al. 2024, Lost in the Middle. arXiv:2307.03172 • Chroma, Context Rot (2025) 技术报告 • Meincke, Mollick et al. 2025. arXiv:2506.07142 • mini-swe-agent README 和 SWE-bench Verified bash-only 排行榜 • Anthropic, Introducing Claude Opus 4.5 (2025) 配音是 AI 合成的（开源免费工具做的）。