Перейти к содержимому

本地 AI 電腦怎麼買?我實測發現,貴 2.5 倍的卡跑得更慢

本機窯 / LOCAL KILN

0:00 / 0:00

本地 AI 電腦怎麼買?我實測發現,貴 2.5 倍的卡跑得更慢

516 просмотров · 2 дня назад
本機窯 / LOCAL KILN
28 подписчиков
516 просмотров · 2 дня назад
先講結論:**跑本地 AI,你不需要買最貴的卡。** 我把手上兩張 AMD 卡全部實測過(同一個模型、同樣 400 tokens、同樣的後端): | 配置 | 價格 | tok/s | |---|---|---| | *RX 7900 XTX 24GB**(二手) | **NT$20,000* | *30.72* | | Radeon AI PRO R9700 32GB(新品) | NT$50,000 | 28.00 | | 兩張一起跑(56GB) | NT$70,000 | *23.99* | | R9700 + Q5_K_M 量化 | — | 15.74 | 四個反直覺的發現 *1. 貴 2.5 倍的卡,慢 9%。* R9700 比 7900 XTX 貴 2.5 倍,但慢了 8.9%。 *2. 買第二張卡,速度反而下降 22%。* 雙卡 56GB 只有 23.99 tok/s,比單張 7900 XTX 的 30.72 更慢。多花 5 萬,換來更慢。 *3. 換一個「免費」的模型檔案,影響比換卡更大。* 同一張 R9700:Q4_K_M 28.00 tok/s,Q5_K_M 只剩 15.74(−44%)。 *4. 27B 模型只需要 16.3 GB 顯存,不是 27 GB。* 實測推論時 VRAM 佔用 16.3 GB,載入只要 6 秒,系統 RAM 只用 23 GB。 這支影片會回答的問題 該花多少錢? 顯存要買多大? 一張大卡還是兩張小卡? 什麼規格其實不重要? *全部用實測數字回答,不是查規格表。* ⚠️ 測試條件:Qwen3.8-27B、llama.cpp Vulkan 後端、8192 context、 400 output tokens、temperature 0。速度因模型與任務而異。 ⚠️ 我們只有 AMD 卡,**沒有 NVIDIA 與 Mac 的實測**。涉及那兩者的部分會明確標示為「未實測」。 --- 📎 本集資料來源 • 全部數據為自行實測(`branding/qwen_bench.json` 基準 + 2026-10-08 補測) • 模型:Qwen3.8-27B-UD-Q4_K_M / Q5_K_M https://huggingface.co/unsloth • 推論引擎:llama.cpp(Vulkan 後端)https://github.com/ggml-org/llama.cpp • 硬體:Radeon AI PRO R9700 32GB(gfx1201)+ RX 7900 XTX 24GB(gfx1100) 本集所有數字皆可重現:同一個模型、同樣 400 tokens、同樣的後端設定。 📺 完整系列 柴火帳(本機窯)