HybridInfer：面向端侧、边缘与云端 LLM 推理的动态感知发热强化学习路由 2026-09-28

HybridInfer：面向端侧、边缘与云端 LLM 推理的动态感知发热强化学习路由 2026-09-28 2609.30270 https://arxiv.org/pdf/2609.30270 时间戳： 00:00 手机运行大模型：不只是变慢，还会崩溃？ 00:34 端侧推理的物理困局与不稳定机制 01:11 HybridInfer 三层分级推理架构 01:41 基于热余量与复杂度的状态空间设计 02:18 强化学习奖励设计与本地性奖励 02:49 真实手机实测与性能对比 03:19 热感知路由：从性能优化到系统可靠性 03:48 局限性与未来展望 为什么在手机上连续运行大语言模型总是卡死或崩溃？本文深入解读 arXiv 最新论文 HybridInfer。该研究揭示了端侧 LLM 推理不仅受到热降频的影响，更面临驱动层面的稳定性瓶颈。作者提出了首个结合 Android 实时热余量（Thermal Headroom）与查询复杂度的强化学习路由算法，在手机端侧（Llama 3.2 3B）、边缘侧（Llama 3.1 8B+RAG）和云端（GPT-4o）之间实现动态调度。通过引入本地性奖励，HybridInfer 既保障了手机系统的稳定性，又以极低成本获得了接近云端大模型的回答质量。