Перейти к содержимому

DDR3内存条太便宜,上256G 512G跑本地大模型?完全没有必要,120B模型足够处理隐私和抗审查,要求高上在线AI,先赚钱!

抡锤者

0:00 / 0:00

DDR3内存条太便宜,上256G 512G跑本地大模型?完全没有必要,120B模型足够处理隐私和抗审查,要求高上在线AI,先赚钱!

20 551 просмотр · 9 дн. назад
抡锤者
14,3 тыс. подписчиков
20 551 просмотр · 9 дн. назад
视频文稿和资料:https://lcz.me/topic/2543 本期聊本地部署大模型该怎么选配置、跑什么模型才有实际意义。随着 Strata 等推理框架的发展,用 DDR3 洋垃圾平台搭配显卡也能尝试运行千问模型。视频从 64G、96G、128G 内存谈到双路服务器、512G 内存等配置,也分享了搭配 V100、3080、3060 等显卡的思路,并提醒大家别为了追求更大的数字不断堆硬件,最后把预算越抬越高。 模型方面,视频讨论千问 27B、千问 Flash Next 和 DeepSeek V4.1 Flash,聊到模型规模、MOE 激活参数、内存带宽、显存需求和多会话体验。我的看法是,本地部署可以优先处理隐私或需要本地运行的工作,其他复杂任务则可结合在线模型和 agent 协同完成;把模型跑流畅、真正用于工作,比单纯追逐超大模型更有价值。视频也提到本地运行开源权重不一定能复现官方推理效果,框架和硬件条件都会影响体验。 后续我计划把内容重心逐渐转向 ComfyUI,通过新的频道展示从零部署大模型和 ComfyUI、制作视频、音频与图片的实际流程,并公开项目数据,用实践检验效果。