Strataを改造版グラボで動かしてみた｜Opus 4.7並みのAIが家のPCで動く【ローカルLLM】

Strata（ストラータ）が、ローカルLLM界隈で話題です。1250億パラメータのQwen3.8 Flash Nextを、ビデオメモリ12GBのグラボと普通のゲーミングPCで動かせる無料のソフトです。 なぜ12GBで動くのかを図で解説し、このチャンネルのPC（RTX 2080 Ti ×2）で実際に使って、速くしようとした結果も紹介します。 【この動画で分かること】 ・1250億パラメータのモデルは、一番小さいサイズでも約38GB。これまではDGX Spark（128GB版は現在6,950ドル）を買うか、グラボを何枚も積むのが定番だった ・Strataに必要なのは、ビデオメモリ12GB以上のグラボと、メインメモリ32GB以上のPC（64GBで全サイズ） ・動かすQwen3.8 Flash Nextの総合スコアは40点。半年前のトップモデルClaude Opus 4.7（41点・推定）とほぼ同じで、o3（20点・推定）を大きく上回る。最新のOpus 5.5（54点）やGPT-6 Astra（51点）にはまだ届かない（Artificial Analysis Intelligence Index v4.3.2） ・Strataで使う圧縮版（IQ3_S）でも、数学・科学・プログラミングのテストは元のモデルとほぼ同じ点数。ただし知らないことをそれっぽく答える傾向はOpusより強い ・RTX 3060 12GBでも、利用者の測定で毎秒約43トークン（Q2_0） ・12GBで動く理由：モデルは24,576人の「専門家」の集まりで、1語ごとに使う重みは約5%。よく呼ばれる専門家だけをグラボに置き、残りはCPUが同時に計算する ・RTX 2080 Ti ×2で試したら、2枚目のグラボもNVLinkもメモリの高速化もあまり効かず、一番効いたのは電力制限（130W→250W）を戻すことだった（毎秒47→78トークン） ・毎秒78トークンは、クラウドのClaude Opus 5.5（約81）とほぼ同じで、GPT-6 Astra（約54）より速い（測り方が違うので目安） 数値は2026年10月11〜12日時点のStrataの資料、Artificial Analysisの評価、利用者の測定、価格情報によるものです。 【目次】 0:00 オープニング 0:51 大きいモデルの壁 1:58 Strataの登場 2:27 どれくらい賢い？ 3:21 RTX 3060でも動く？ 4:05 なぜ12GBで動く？ 5:19 実際に使ってみた 6:03 速くしようとしたら 8:15 普段の使い方 8:30 試す前の注意 9:01 まとめ 【関連リンク】 🔗 Strata（GitHub）: https://github.com/Niko1221/Strata 🔗 Qwen3.8-Flash-Next モデルカード: https://huggingface.co/Qwen/Qwen3.8-F... 🔗 RTX 3060の測定（Strataコミュニティ）: https://github.com/Niko1221/Strata/bl... 🔗 圧縮版の成績（ISTA-DASLab）: https://huggingface.co/ISTA-DASLab/Qw... 🔗 賢さと速さの比較（Artificial Analysis）: https://artificialanalysis.ai/models/... 🔗 DGX Sparkの価格（テクノエッジ）: https://www.techno-edge.net/article/2... 🔗 実験中のポスト（@iori_sf）: https://x.com/iori_sf/status/21070128... ※この動画はVOICEVOXを使用しています ずんだもん・四国めたん：VOICEVOX https://voicevox.hiroshiba.jp/ フォント：DotGothic16（SIL Open Font License）