EZ撸paper: DeepSeek-V3 技术报告详细解读 part2 | 开源最强模型 | 性价比之王的核心技术MLA
EZ.Encoder Academy
0:00 / 0:00
EZ撸paper: DeepSeek-V3 技术报告详细解读 part2 | 开源最强模型 | 性价比之王的核心技术MLA
24 520 просмотров · 1 год назад
EZ.Encoder Academy
17,6 тыс. подписчиков
24 520 просмотров · 1 год назад
DeepSeek-V3 技术报告详细解读 part2#deepseek #llm
在part2 主要讲解了MLA部分,这是DeepSeek-v3在推理成本上能吊打GPT4o的主要原因之一
------------------------------------------------------
视频中使用的手写板:
HUION Inspiroy H1060P Graphics Drawing Tablet
https://amzn.to/41DvOiW
------------------------------------------------------
paper:
https://arxiv.org/abs/2412.19437
code:
https://github.com/deepseek-ai/DeepSe...
DeepSeek-V3 技术报告详细解读 part1:
• EZ撸paper: DeepSeek-V3 技术报告详细解读 part1 | 开源最...
DeepSeek-V3 技术报告详细解读 part2:
• EZ撸paper: DeepSeek-V3 技术报告详细解读 part2 | 开源最...
DeepSeek-V3 技术报告详细解读 part3:
• EZ撸paper: DeepSeek-V3 论文中的隐藏细节 (part 3):你不...
DeepSeek-V3 技术报告详细解读 part4:
• EZ撸paper: DeepSeek-V3 论文中的隐藏细节 (part 4):从入...
Chapters:
0:00 引言
2:04 章节概览
4:11 MLA
8:53 Attention
19:17 KV cache
26:07 MLA是低秩分解
35:48 RoPE
我正在写的书, 我的经历和我的胡思乱想:
https://ez-encoder-academy.gitbook.io...
我希望能结交更多朋友, 想和我云聊:
https://calendly.com/chvlyl/coffee_ch...