5070+64GB 本地跑 Strata:Flash Next 的 IQ3_S 和 Q4,体验差多少?
向量之外
0:00 / 0:00
5070+64GB 本地跑 Strata:Flash Next 的 IQ3_S 和 Q4,体验差多少?
5 852 просмотра · 3 дня назад
向量之外
64 подписчика
5 852 просмотра · 3 дня назад
RTX 5070 的 12GB 显存,加上 64GB 内存,本地跑 Strata 和 Flash Next,到底能不能真正干活?这期结合我的日常使用和几个小测试,聊聊 IQ3_S 与 Q4 的效果差异、中途停止、SSD 读取和散热压力,以及 Pi Agent 驱动另一台 3060 的工作方式。
DeepSeek 目前不太适合我这套配置和用途。我会继续测试 Flash Next 的不同量化,以及 Strata 支持的其他模型和版本,找一个能力、稳定性和资源占用更均衡的选择。
本地大模型,能加载起来,不等于用起来舒服。
这期用我的 RTX 5070 12GB+64GB DDR5 内存+PCIe 4.0 SSD,分享 Strata 本地部署 Qwen3.8-Flash-Next 的实际体验。重点不是追逐最大的模型,而是在现有硬件上,找到真正能持续干活的配置。
视频里主要聊这些:
Flash Next 的 IQ3_S 和 Q4:几个生成与编程小测试里,我看到了哪些效果差异。
我在 IQ3_S 使用中遇到的中途停止,以及结束标记、continue 和 watchdog 的处理思路。
Q4 在我这台机器上的资源压力:不只看显存,也要看系统内存、SSD 读取和散热。
长上下文、压缩,以及本地 Pi Agent 的日常工作体验。
5070 负责模型与调度,另一台 3060 执行转写、解码和视频处理的分工。
为什么我暂时不继续测试本地 DeepSeek,以及接下来想尝试的量化和版本。
对我来说,当前本地 DeepSeek 方案与这套硬件、我的工作节奏不太匹配。这不是说 DeepSeek 模型本身不好,也不是一次完整的 DeepSeek 本地实测结论;只是我现阶段的选择。接下来我会继续围绕 Flash Next 和 Strata 支持的其他模型、量化及版本做测试。
说明:这是个人使用记录,不是统一提示词、上下文和参数下的严格横向跑分。视频中的速度读数、效果与稳定性观察,只代表相应片段和当时的使用条件;不能据此给量化版本标一个固定的能力差距百分比,也不能直接把中途停止归因于量化本身。
封面中的硬件为 AI 生成示意,不是我的电脑实拍。
#Strata #本地AI #FlashNext