DeepSeek 凭什么又快又便宜？先看懂这 2 秒｜推理引擎拆解 EP.01

你问 AI 一句话，它回你一段话——中间大概过了两秒。 这两秒里发生了什么？大多数人的答案是"它在思考"。但把这两秒拆开放大，你会看到一件很奇怪的事：它没有在想，它在猜。而且猜得特别笨，一次只猜一个字。 这期我们就把这两秒拆开，一层一层往下看。这是"DeepSeek 推理引擎拆解"系列的第一集，讲的是最底层的那部分——一个请求从你按下回车，到第一个字蹦出来，中间到底经过了什么。 ▍本期讲什么 · 全景：一个请求的完整旅程——你输入 → 切 token → 排队调度 → Prefill → Decode → 流式返回。为什么第 ⑥ 步产出的新 token 要被接回第 ① 步，这就是"自回归" · 推理的本质：模型每一步只在做一件事——猜下一个 token 是谁。它没有"想"，只有"算概率" · Token：模型眼里的"字"和我们的字不是一回事。中文一个字可能是 1 个 token，也可能是 2 个，还可能是半个 · KV Cache：为什么生成第 100 个字，不用把前 99 个字重新读一遍？这个缓存是推理系统里最贵的一块内存 · 四个指标：说"快不快"其实要分两种快——首字延迟（TTFT）和出字速度（TPOT）。这两个数经常互相打架 · 为什么"能跑"和"能服务"是两件事：单卡跑通一个 demo，和同时服务一万人，中间隔着一整个调度系统 · 进门：从 HTTP 请求到 GPU 上的一个任务，中间要过网关、路由、队列——这一段经常被忽略，但它决定了你排不排队 ▍章节 0:00 开场：那两秒里发生了什么 1:42 先看全景：一句话是怎么变成一个字的 4:23 推理的本质：每一步都在猜"下一个 token 是谁" 7:56 Token：模型眼里的"字"和我们的字不一样 11:52 KV Cache：为什么生成第 100 个字不用重读前 99 个 17:10 四个指标：快不快，要分两种"快"来说 21:37 为什么"能跑"和"能服务"是两件事 25:47 进门：从 HTTP 请求到 GPU 上的一个任务 29:59 收尾 ▍关于这个系列 三集，从下往上拆： EP.01 一个请求的 2 秒：Token / KV Cache / 首字延迟 / 请求怎么进门（本期） EP.02 Prefill 与 Decode：为什么要拆成三个池子 / MoE / Wide-EP / 调度器 EP.03 省下来的每一分算力：投机解码 / 滑动窗口 / KV Cache 放哪 / 输出这道关 不讲"AI 要改变世界"，只讲它到底是怎么跑起来的。喜欢这种拆到底的硬核内容，点赞订阅，别错过后两集。 ▍官方链接 DeepSeek 开源仓库：https://github.com/deepseek-ai DeepInfer：https://github.com/deepseek-ai/DeepInfer #DeepSeek #AI推理 #大模型 #KVcache #Token #机器学习 #开源 #技术拆解 #LLM #AI基础设施