なぜRTX 5090は、VRAMに1枚も載せないほうが2.2倍速いのか｜llama.cpp【ゆっくり解説】

AIを手元で動かすとき、モデルはグラボのVRAMに載せるほど速くなる。 だからVRAMの多いグラボは高い——その常識が、ある設定でひっくり返りました。 llama.cpp v0.7.0 が、日本時間の2026年10月16日未明に公開されました。 目玉の `--moe-cache-mib` を使って作者が測った表では、 VRAMに層を1枚も置かない設定がいちばん速くなっています。 RTX 5090 で、毎秒30.8トークンが67.8トークンへ。倍率にして2.20倍。 このとき層は0枚で、18.6GBを丸ごとキャッシュに回しています。命中率は89%。 RTX 4090 でも、25.0トークンが40.7トークンへ伸びています(1.62倍/命中率77%)。 ところが同じ提案ページのコメント欄には、逆の実測も並んでいます。 全部のエキスパートがVRAMに載る人が切り替えると、43.3トークンが23.2トークンへ。 0.54倍、ほぼ半分です。しかもこの人の命中率は94.4%もありました。 2.2倍の人と、半分の人。同じ設定で、どちらも本当に測られた数字です。 分かれ目はたった1つ、命中率でした。この回はそこを解きます。 ■ この回で分かること ・なぜVRAMに1枚も載せないほうが速くなるのか ・なぜエキスパート全体の1割しかないキャッシュで、8割も当たるのか ・自分の機械では速くなるのか、それとも遅くなるのか ■ 目次 0:00 載せないほうが速い?／2倍の人と半分の人が同じ設定だった 1:54 llama.cpp v0.7.0 と、エキスパートだけで65.4GBあるMoE 3:56 図書館で考える／書庫が本体メモリ、机がVRAM 5:56 作者のベンチ6行／層0枚がいちばん速い 7:27 据え置きは予約席、キャッシュは自由席 8:53 1割の机で、なぜ8割も当たるのか 10:41 長く書かせるほど速くなる／外れ1回で1.5GB運んでいた 12:25 全部VRAMに載る人は、切り替えると0.54倍に落ちる 14:20 モデルを変えると逆転する／小さすぎるキャッシュは崖 15:44 グラボ2枚は、報告が真っ二つに割れている 17:21 測定条件が家と違う／速くなるのは「書く側」だけ 19:08 自分の機械は速くなるのか、3つの条件で判定する 20:41 やり方は指定2つ／制約は4つある 23:09 買い増すか、設定で粘るか 24:43 今日のまとめ／分かれ目は命中率ただ1つ ■ この動画について 動画内の数字は、llama.cpp のリリースページとプルリクエスト本文・コメント欄を 一次ソースとして独自に調査し、「作者本人の測定」と「第三者の追試」を 区別して扱っています。本編の図解もすべて独自に作成しています。 ■ 引用・出典 ・ggml-org/llama.cpp PR 29887「llama : add a GPU cache for MoE experts kept in host memory」 　https://github.com/ggml-org/llama.cpp... （2026-10-17取得） ・ggml-org/llama.cpp Release v0.7.0 　https://github.com/ggml-org/llama.cpp... （2026-10-17取得） ・ggml-org/llama.cpp PR 30112「llama: support MoE cache over multiple GPUs」 　https://github.com/ggml-org/llama.cpp... （2026-10-17取得） ■ ご注意 ・作者のベンチ表の「1.00倍」は、全部VRAMに載せた状態ではありません。 　載るぶんだけ載せて残りを本体メモリに置いた状態(--fit)です。 　つまり2.20倍は「もともと全部は載らない人」の中での2.20倍です。 ・測定されたモデルは Qwen3.8-Flash-Next の Q4_0 1本・量子化1種のみです。 　「どのモデルでも2.2倍」とは言えません。実際 GLM-5.3-Flash では遅くなった報告があります。 ・効くのは32トークン以下の小さいバッチだけで、それを超えると従来のオフロードに戻ります。 ・キャッシュ無しのときと出力が一致しない、という報告があります。 　これは「幻覚が増える」という話ではありません。同じ入力で同じ出力が要る用途には向きません。 ・対応していない組み合わせがあります。提案ページのコメントで整理された範囲では 　OpenCL・テンソル並列・学習が対象外です。複数GPUは PR 30112 で対応済みですが、 　第三者の追試では2枚のほうが遅い報告もあります。 ・命中率が何%を下回ると損になるかの公式な線はありません。 　「85%で互角」は1人の1環境の観測で、作者の表では77%で1.62倍が出ています。 ・エキスパートの選ばれ方が偏っている理由を直接測った一次データは、このPRにはありません。 　「1割のキャッシュで命中72〜89%」という結果からの逆算です。 ・「モデル全体の7%から試す」は、65.4÷93.7から当方が割り算して作った目安で、公式の数字ではありません。 ■ 使用素材 東方Project 二次創作(霊夢・魔理沙の立ち絵) 音声合成:AquesTalk / YMM4(ゆっくりMovieMaker4) BGM:2:23 AM(しゃろう / DOVA-SYNDROME) #ローカルLLM #ローカルAI #llamacpp #MoE #VRAM #RTX5090 #RTX4090 #Qwen #GPU #AI #生成AI #ゆっくり解説