十分钟讲清大语言模型是怎么训练的？从 Token 到参数更新

让模型不断猜下一个词，为什么会逐渐学会语言？真正被“训练”的，又是什么？ 这期用派派这只猫、一条鱼和一个实际跑过的小模型，串起 Token、Embedding、Transformer、Attention、Loss、反向传播与参数更新，看看文字怎样变成模型可以学习的数字。 本期以常见的自回归语言模型为例，主要解释预训练的核心原理，不是包含后训练、对齐和部署的完整工程教程。图中的概率和注意力示意用于教学；小模型实验不代表真实大模型的训练规模或效果。 章节 00:00 大模型不是装满资料的硬盘 00:36 文字怎样变成训练材料 02:36 Transformer 与注意力 05:10 从预测误差到参数更新 08:50 实际跑一次小模型训练 10:01 训练结束后，怎样生成回答 11:14 后训练留待下一期 引用与参考 Andrej Karpathy — Deep Dive into LLMs like ChatGPT（片中保留原声的讲解片段）    • Deep Dive into LLMs like ChatGPT   制作说明 动画人物为原创虚构角色，部分画面使用AI辅助制作；旁白使用作者本人授权的声音克隆。字幕可通过YouTube的CC开关显示或隐藏。 音乐署名 Music: Awaken by Alex-Productions   / alexproductionsmusic   License: Creative Commons — Attribution 3.0 Unported — CC BY 3.0 Free Download / Stream: https://links.al/YL1 Music promoted by Audio Library: https://links.al/youtube Music: chill days by Snoozy Beats   / snoozybeats   License: Creative Commons — Attribution 3.0 Unported — CC BY 3.0 Free Download / Stream: https://links.al/oaC Music promoted by Audio Library: https://links.al/youtube Music: dream food by Snoozy Beats   / snoozybeats   License: Creative Commons — Attribution 3.0 Unported — CC BY 3.0 Free Download / Stream: https://links.al/qon Music promoted by Audio Library: https://links.al/youtube 音乐在视频中作节选、音量调整及淡入淡出。 欢迎订阅李出戏，一起把AI和科技背后的原理讲明白。 #大语言模型 #AI科普 #李出戏