论坛网友M5 Ultra 256G实测,流畅运行DeepSeek Flash /Qwen Flash,性价比超双DGX Spark,唯一的缺点就是贵!
抡锤者
0:00 / 0:00
论坛网友M5 Ultra 256G实测,流畅运行DeepSeek Flash /Qwen Flash,性价比超双DGX Spark,唯一的缺点就是贵!
4 469 просмотров · 5 часов назад
抡锤者
13,4 тыс. подписчиков
4 469 просмотров · 5 часов назад
视频文稿和资料:https://lcz.me/topic/2284
本期结合论坛网友的实测,继续聊 M5 Max、M5 Ultra 与 RTX Spark、DGX Spark 的本地大模型表现。评论区有人质疑我没有资格评价 M5 Ultra,我也欢迎大家把真实设备、测试日志、模型权重和完整数据发到论坛,用实测来讨论。论坛里已经有网友分享了多卡显卡、Mac Studio 等设备和测评,相关模型与工具也有开源资料可以参考。
视频对比了两组 Mac Studio M5 Ultra 测试:一组使用 llama.cpp、MLX 等推理方案,另一组展示了不同模型量化、上下文长度下的首 token 延迟、prefill 和缓存命中表现。测试显示,在单次请求和部分模型的 decode 速度上,M5 Ultra 与双 DGX Spark 表现接近,M5 Ultra略有优势;但长上下文、多并发场景下,首 token 延迟和排队时间也值得关注。同时,测试所用推理框架不同,不能简单把结果当成硬件的最终上限。视频也讨论了 SGLang 在苹果平台上的适配,以及 Radix 缓存和增量 prefill 对多并发体验的影响。
如果用途包括 ComfyUI、AI 音视频等任务,算力和软件生态同样重要,苹果设备不一定占优。选购时还要考虑办公、编程、剪辑、内存容量、价格和后续使用年限。我的看法是,M5 Max、M5 Ultra适合兼顾日常工作与本地推理的用户;双 DGX Spark 可用于特定的大模型部署,而 RTX Spark 的性能和价格是否划算,需要与独显加大内存的方案比较。欢迎带上设备照片、测试配置和数据到论坛交流,也欢迎用可复现的实测指出视频里不准确的地方。