本地 AI 電腦怎麼買?我實測發現,貴 2.5 倍的卡跑得更慢
本機窯 / LOCAL KILN
0:00 / 0:00
本地 AI 電腦怎麼買?我實測發現,貴 2.5 倍的卡跑得更慢
516 просмотров · 2 дня назад
本機窯 / LOCAL KILN
28 подписчиков
516 просмотров · 2 дня назад
先講結論:**跑本地 AI,你不需要買最貴的卡。**
我把手上兩張 AMD 卡全部實測過(同一個模型、同樣 400 tokens、同樣的後端):
| 配置 | 價格 | tok/s |
|---|---|---|
| *RX 7900 XTX 24GB**(二手) | **NT$20,000* | *30.72* |
| Radeon AI PRO R9700 32GB(新品) | NT$50,000 | 28.00 |
| 兩張一起跑(56GB) | NT$70,000 | *23.99* |
| R9700 + Q5_K_M 量化 | — | 15.74 |
四個反直覺的發現
*1. 貴 2.5 倍的卡,慢 9%。*
R9700 比 7900 XTX 貴 2.5 倍,但慢了 8.9%。
*2. 買第二張卡,速度反而下降 22%。*
雙卡 56GB 只有 23.99 tok/s,比單張 7900 XTX 的 30.72 更慢。多花 5 萬,換來更慢。
*3. 換一個「免費」的模型檔案,影響比換卡更大。*
同一張 R9700:Q4_K_M 28.00 tok/s,Q5_K_M 只剩 15.74(−44%)。
*4. 27B 模型只需要 16.3 GB 顯存,不是 27 GB。*
實測推論時 VRAM 佔用 16.3 GB,載入只要 6 秒,系統 RAM 只用 23 GB。
這支影片會回答的問題
該花多少錢?
顯存要買多大?
一張大卡還是兩張小卡?
什麼規格其實不重要?
*全部用實測數字回答,不是查規格表。*
⚠️ 測試條件:Qwen3.8-27B、llama.cpp Vulkan 後端、8192 context、
400 output tokens、temperature 0。速度因模型與任務而異。
⚠️ 我們只有 AMD 卡,**沒有 NVIDIA 與 Mac 的實測**。涉及那兩者的部分會明確標示為「未實測」。
---
📎 本集資料來源
• 全部數據為自行實測(`branding/qwen_bench.json` 基準 + 2026-10-08 補測)
• 模型:Qwen3.8-27B-UD-Q4_K_M / Q5_K_M https://huggingface.co/unsloth
• 推論引擎:llama.cpp(Vulkan 後端)https://github.com/ggml-org/llama.cpp
• 硬體:Radeon AI PRO R9700 32GB(gfx1201)+ RX 7900 XTX 24GB(gfx1100)
本集所有數字皆可重現:同一個模型、同樣 400 tokens、同樣的後端設定。
📺 完整系列
柴火帳(本機窯)