2026 Mac Studio M5 Max 128GB Local AI Setup #2|llama.cpp + Qwen3.8-Flash-Next 本地运行实测
Think Forward 向前思考
0:00 / 0:00
2026 Mac Studio M5 Max 128GB Local AI Setup #2|llama.cpp + Qwen3.8-Flash-Next 本地运行实测
1 800 просмотров · 2 нед. назад
Think Forward 向前思考
298 подписчиков
1 800 просмотров · 2 нед. назад
这是我的 2026 Mac Studio M5 Max 128GB RAM Local AI Setup 系列第二期。
这一期的安装和模型链接:
Qwen3.8-Flash-Next-GGUF:
https://huggingface.co/unsloth/Qwen3....
Llama.cpp download:
https://llama.app/
这一期,我们来看看如何在 Mac Studio 上运行本地 AI:从安装和配置 llama.cpp,到下载并运行 Qwen3.8-Flash-Next,再用它完成一些实际任务。
我也会分享这台 Mac Studio 的本地推理体验:生成速度大约达到 39–40 tokens/s。作为对比,我在 Windows 上写程序时通常约为 16 tokens/s;之前连接到 Visual Studio 时,甚至只有约 3–4 tokens/s。对我来说,这是一次很明显的提升。
另一个让我印象深刻的地方是噪音。运行本地模型时,Mac Studio 非常安静,几乎听不到风扇声,和旁边运行的 Mac mini 差不多安静。
视频里还会用模型生成一些实际示例,包括一个 Flappy Bird 小游戏,以及一个太阳系可视化项目。太阳系项目总共使用了 49,534 tokens,耗时约 21 分钟。后来我发现,当时的 reasoning 设置为 Maximum,所以生成时间比较长。之后我会尝试把 reasoning 调到 Medium,看看能否缩短时间。
这期视频主要包括:
• 在 Mac Studio 上安装和配置 llama.cpp
• 下载并运行 Qwen3.8-Flash-Next
• 测试本地模型的生成速度
• 用模型生成 Flappy Bird 小游戏
• 制作太阳系可视化项目
• 分享 Mac Studio 的运行噪音与使用体验
• 观察不同 reasoning 设置对生成时间的影响
之后我也会继续分享更多在 Mac Studio 上安装和体验本地 AI 的内容,包括本地模型、AI 工具和更多实际项目。
如果你也在搭建自己的 Local AI 环境,希望这期视频能给你一些参考。
#LocalAI #MacStudio #LlamaCpp #Qwen #LocalLLM #MacStudio128GB #AISetup #llama.cpp #Qwen3 #ThinkForward