Перейти к содержимому

2026 Mac Studio M5 Max 128GB Local AI Setup #2|llama.cpp + Qwen3.8-Flash-Next 本地运行实测

Think Forward 向前思考

0:00 / 0:00

2026 Mac Studio M5 Max 128GB Local AI Setup #2|llama.cpp + Qwen3.8-Flash-Next 本地运行实测

1 800 просмотров · 2 нед. назад
Think Forward 向前思考
298 подписчиков
1 800 просмотров · 2 нед. назад
这是我的 2026 Mac Studio M5 Max 128GB RAM Local AI Setup 系列第二期。 这一期的安装和模型链接: Qwen3.8-Flash-Next-GGUF: https://huggingface.co/unsloth/Qwen3.... Llama.cpp download: https://llama.app/ 这一期,我们来看看如何在 Mac Studio 上运行本地 AI:从安装和配置 llama.cpp,到下载并运行 Qwen3.8-Flash-Next,再用它完成一些实际任务。 我也会分享这台 Mac Studio 的本地推理体验:生成速度大约达到 39–40 tokens/s。作为对比,我在 Windows 上写程序时通常约为 16 tokens/s;之前连接到 Visual Studio 时,甚至只有约 3–4 tokens/s。对我来说,这是一次很明显的提升。 另一个让我印象深刻的地方是噪音。运行本地模型时,Mac Studio 非常安静,几乎听不到风扇声,和旁边运行的 Mac mini 差不多安静。 视频里还会用模型生成一些实际示例,包括一个 Flappy Bird 小游戏,以及一个太阳系可视化项目。太阳系项目总共使用了 49,534 tokens,耗时约 21 分钟。后来我发现,当时的 reasoning 设置为 Maximum,所以生成时间比较长。之后我会尝试把 reasoning 调到 Medium,看看能否缩短时间。 这期视频主要包括: • 在 Mac Studio 上安装和配置 llama.cpp • 下载并运行 Qwen3.8-Flash-Next • 测试本地模型的生成速度 • 用模型生成 Flappy Bird 小游戏 • 制作太阳系可视化项目 • 分享 Mac Studio 的运行噪音与使用体验 • 观察不同 reasoning 设置对生成时间的影响 之后我也会继续分享更多在 Mac Studio 上安装和体验本地 AI 的内容,包括本地模型、AI 工具和更多实际项目。 如果你也在搭建自己的 Local AI 环境,希望这期视频能给你一些参考。 #LocalAI #MacStudio #LlamaCpp #Qwen #LocalLLM #MacStudio128GB #AISetup #llama.cpp #Qwen3 #ThinkForward