[為什麼 AI 不該只會聊天 1/2] 聊天 AI 為什麼永遠那麼有把握？RLHF 的隱藏代價｜前 OpenAI 研究員 Diogo Almeida × Latent Space

叫 AI 隨便選一個數字，它卻非常有把握地每次都選同一個。聊天 AI 的把握，到底從哪裡來？ 這集從預訓練和 RLHF 講起：為了讓回答討人喜歡、長文不出錯，模型把機率擠到最保險的答案上（mode collapse）。好處是長文很穩，代價是它說的把握，不再對應實際答對的機會。 素材是前 OpenAI 研究員、InstructGPT 作者之一 Diogo Almeida 在 Latent Space podcast 的訪談（主持人 swyx）。「為什麼 AI 不該只會聊天」系列第 1 集（共 2 集）；第 2 集講給程式用的 AI。 章節 0:00 開場 1:14 聊天 AI 是怎麼練出來的 2:39 機率擠成一根 4:54 代價：機率被擠歪 7:56 讀答案的，如果不是人？ 原始訪談 • Diogo Almeida × swyx · Latent Space, Sep 2026 —    • Why I couldn't build Jev at OpenAI — Diogo...   論文 • Training language models to follow instructions with human feedback · Ouyang et al. · NeurIPS 2022 — https://arxiv.org/abs/2203.02155 • Understanding the Effects of RLHF on LLM Generalisation and Diversity · Kirk et al. · ICLR 2024 — https://arxiv.org/abs/2310.06452 • Towards Machines that can Understand, Reason & Plan · LeCun · Santa Fe Institute workshop 2023 — https://www.slideshare.net/slideshow/... • GPT-4 Technical Report · OpenAI · arXiv 2023 · Fig. 8 — https://arxiv.org/abs/2303.08774 • Language Models (Mostly) Know What They Know · Kadavath et al. · arXiv 2022 — https://arxiv.org/abs/2207.05221 註：Diogo Almeida 是 TypeSafe 的共同創辦人兼執行長，訪談錄在他們發表新模型 Jev 的幾天後。「隨便選數字」是我們自己用 OpenAI API 和本機小模型做的示範；GPT-4 的校準圖依原報告的數值重畫。 旁白為我們自己的講解與翻譯；原片段僅作評論與教育用途，版權歸原作者所有：Diogo Almeida × swyx · Latent Space, Sep 2026。