加显卡还是加内存?家用AI服务器跑100B大模型
图灵指针 Turing Pointer
0:00 / 0:00
加显卡还是加内存?家用AI服务器跑100B大模型
7 154 просмотра · 6 дн. назад
图灵指针 Turing Pointer
3,23 тыс. подписчиков
7 154 просмотра · 6 дн. назад
本期为 Ice Tea Admin 原视频的完整中文翻译配音版。两个超过 200G 的大模型,怎么在家用 AI 服务器上跑起来:混合专家模型如何同时用显存和内存、量化的代价、加装第 3 块显卡的散热和插槽问题、内存怎么插,最后实测速度并拿它写网页。
章节:
00:01 开场
00:51 200G的大模型
01:38 混合专家模型
03:18 加第3块显卡
05:55 加内存
06:47 实测速度
08:48 拿来写网页
10:32 总结
原片: • Upgrading my home AI server to run large m...
原作者:Ice Tea Admin(英语原片)
中文整理与制作:图灵指针 Turing Pointer
配音:ElevenLabs Yu;原片音轨全程移除。
#AI #图灵指针