有了 Strata,5080 16G 就能跑 125B LLM,還需要 DGX 嗎?|爆紅開源引擎 Strata 深入拆解+顯卡天梯
AI 策略室-中小企業也能用 AI 成長
0:00 / 0:00
有了 Strata,5080 16G 就能跑 125B LLM,還需要 DGX 嗎?|爆紅開源引擎 Strata 深入拆解+顯卡天梯
20 176 просмотров · 4 дн. назад
AI 策略室-中小企業也能用 AI 成長
851 подписчик
20 176 просмотров · 4 дн. назад
RTX 5080 16GB 能跑 125B 本地大模型嗎?開源引擎 Strata 讓 16G 顯卡加上記憶體跑起 Qwen3.8-Flash-Next(125B LLM),我們的結論:記憶體至少要 64G。
還需要 DGX Spark 嗎?一個人、一個模型,普通電腦加記憶體就夠;好幾個人、好幾個模型同時跑,才輪到 128G 的大機器。片中附 AI 顯卡天梯。
我們照 Strata 的論文,把一個字放慢來看:顯卡、處理器、記憶體、SSD 怎麼一起上場。也整理 GitHub 上玩家的跑分、安裝會卡在哪、27B 和 125B 怎麼選,最後給一份先補哪裡的照做清單。
章節
0:00 開場:16G 的 5080 跑起 125B
0:38 AI 顯卡天梯:你的卡在哪一格
1:27 16G 怎麼裝得下 125B?
1:53 Strata 的做法:把電腦當圖書館
2:21 放慢一個字:電腦裡誰在做事
3:31 作者只有一張 5070,玩家一起寫
3:58 叫 AI 幫你裝,安全嗎?
4:41 玩家卡在哪、怎麼玩
5:42 跑得動不等於能用:記憶體要多少
6:30 16G 乾脆跑 27B 不就好了?
7:02 我們的看法:整台電腦都押給它
7:29 還需要 DGX Spark 嗎?
8:19 你的電腦先補哪裡
9:19 你桌上那台,就是 AI 主機
資料來源
・125B 模型 Qwen3.8-Flash-Next(Hugging Face 模型卡)https://huggingface.co/Qwen/Qwen3.8-F...
・Strata 開源引擎(GitHub)https://github.com/Niko1221/Strata
・Strata 論文(一步約 0.034 秒、處理器和顯卡互等、每多 1G 顯示卡記憶體多放約 700 位專家)https://raw.githubusercontent.com/Nik...
・同一台電腦只換顯卡:2070 SUPER 42、3080 65、4080 SUPER 90、5080 105(#2314)https://github.com/Niko1221/Strata/is...
・玩家跑分報告彙整(RX 9070、3060、5090 等,找你的卡)https://raw.githubusercontent.com/Nik...
・各版本要多少記憶體(38/47/55/96G 起)https://raw.githubusercontent.com/Nik...
・官方寫給 AI 的安裝頁(只開在本機、下載 70G 前先問你)https://raw.githubusercontent.com/Nik...
・DGX Spark 規格:128GB 統一記憶體(NVIDIA 產品頁)https://www.nvidia.com/en-us/products...
・DGX Spark:官方版還沒支援、社群移植每秒約 40(#774)https://github.com/Niko1221/Strata/is...
・DGX Spark 社群移植版每秒約 59~66(PR #2419)https://github.com/Niko1221/Strata/pu...
#rtx5090 #dgxspark #rtx5080 #本地大模型