Перейти к содержимому

加显卡还是加内存?家用AI服务器跑100B大模型

图灵指针 Turing Pointer

0:00 / 0:00

加显卡还是加内存?家用AI服务器跑100B大模型

7 154 просмотра · 6 дн. назад
图灵指针 Turing Pointer
3,23 тыс. подписчиков
7 154 просмотра · 6 дн. назад
本期为 Ice Tea Admin 原视频的完整中文翻译配音版。两个超过 200G 的大模型,怎么在家用 AI 服务器上跑起来:混合专家模型如何同时用显存和内存、量化的代价、加装第 3 块显卡的散热和插槽问题、内存怎么插,最后实测速度并拿它写网页。 章节: 00:01 开场 00:51 200G的大模型 01:38 混合专家模型 03:18 加第3块显卡 05:55 加内存 06:47 实测速度 08:48 拿来写网页 10:32 总结 原片:   • Upgrading my home AI server to run large m...   原作者:Ice Tea Admin(英语原片) 中文整理与制作:图灵指针 Turing Pointer 配音:ElevenLabs Yu;原片音轨全程移除。 #AI #图灵指针