Перейти к содержимому

有了 Strata,5080 16G 就能跑 125B LLM,還需要 DGX 嗎?|爆紅開源引擎 Strata 深入拆解+顯卡天梯

AI 策略室-中小企業也能用 AI 成長

0:00 / 0:00

有了 Strata,5080 16G 就能跑 125B LLM,還需要 DGX 嗎?|爆紅開源引擎 Strata 深入拆解+顯卡天梯

20 176 просмотров · 4 дн. назад
AI 策略室-中小企業也能用 AI 成長
851 подписчик
20 176 просмотров · 4 дн. назад
RTX 5080 16GB 能跑 125B 本地大模型嗎?開源引擎 Strata 讓 16G 顯卡加上記憶體跑起 Qwen3.8-Flash-Next(125B LLM),我們的結論:記憶體至少要 64G。 還需要 DGX Spark 嗎?一個人、一個模型,普通電腦加記憶體就夠;好幾個人、好幾個模型同時跑,才輪到 128G 的大機器。片中附 AI 顯卡天梯。 我們照 Strata 的論文,把一個字放慢來看:顯卡、處理器、記憶體、SSD 怎麼一起上場。也整理 GitHub 上玩家的跑分、安裝會卡在哪、27B 和 125B 怎麼選,最後給一份先補哪裡的照做清單。 章節 0:00 開場:16G 的 5080 跑起 125B 0:38 AI 顯卡天梯:你的卡在哪一格 1:27 16G 怎麼裝得下 125B? 1:53 Strata 的做法:把電腦當圖書館 2:21 放慢一個字:電腦裡誰在做事 3:31 作者只有一張 5070,玩家一起寫 3:58 叫 AI 幫你裝,安全嗎? 4:41 玩家卡在哪、怎麼玩 5:42 跑得動不等於能用:記憶體要多少 6:30 16G 乾脆跑 27B 不就好了? 7:02 我們的看法:整台電腦都押給它 7:29 還需要 DGX Spark 嗎? 8:19 你的電腦先補哪裡 9:19 你桌上那台,就是 AI 主機 資料來源 ・125B 模型 Qwen3.8-Flash-Next(Hugging Face 模型卡)https://huggingface.co/Qwen/Qwen3.8-F... ・Strata 開源引擎(GitHub)https://github.com/Niko1221/Strata ・Strata 論文(一步約 0.034 秒、處理器和顯卡互等、每多 1G 顯示卡記憶體多放約 700 位專家)https://raw.githubusercontent.com/Nik... ・同一台電腦只換顯卡:2070 SUPER 42、3080 65、4080 SUPER 90、5080 105(#2314)https://github.com/Niko1221/Strata/is... ・玩家跑分報告彙整(RX 9070、3060、5090 等,找你的卡)https://raw.githubusercontent.com/Nik... ・各版本要多少記憶體(38/47/55/96G 起)https://raw.githubusercontent.com/Nik... ・官方寫給 AI 的安裝頁(只開在本機、下載 70G 前先問你)https://raw.githubusercontent.com/Nik... ・DGX Spark 規格:128GB 統一記憶體(NVIDIA 產品頁)https://www.nvidia.com/en-us/products... ・DGX Spark:官方版還沒支援、社群移植每秒約 40(#774)https://github.com/Niko1221/Strata/is... ・DGX Spark 社群移植版每秒約 59~66(PR #2419)https://github.com/Niko1221/Strata/pu... #rtx5090 #dgxspark #rtx5080 #本地大模型