Перейти к содержимому

12GBのPCで125BのAIは使える? Strataを実機で検証(Gemma 4 12B・Qwen3.5 9Bと比較)【ずんだもん解説】

AIの歩き方

0:00 / 0:00

12GBのPCで125BのAIは使える? Strataを実機で検証(Gemma 4 12B・Qwen3.5 9Bと比較)【ずんだもん解説】

7 802 просмотра · 3 дня назад
AIの歩き方
680 подписчиков
7 802 просмотра · 3 дня назад
GPUメモリ12GBのPCで、125BのAI(Qwen3.8-Flash-Next)を動かす無料のソフト「Strata」を、いつものPC(RTX 4070 Ti 12GB・メモリ64GB)で試しました。作者の説明では、RTX 5070で1秒に94トークン。本当にそんなに速いのか、いつもの9B・12Bより日本語で賢いのかを、ずんだもんと四国めたんが確かめます。 ① 12GBのPCで、125Bは本当に速く動く? ② いつもの9B・12Bより、日本語で賢い?(動画74と同じ6つの課題) ③ 自分のPCで使うべき? このPCでは、日本語の文章を書く速さが1秒に約51〜59トークンで、12BのGemmaとほぼ同じでした。そのまま使うと考えすぎますが、「考える量」を低くすると41点満点で31点と、9B・12Bより上。メモリ64GBのPCなら、試す価値があります。 【チャプター】 00:00 導入:125BのAIが、12GBで動く? 00:49 問い① 本当に速い? 03:07 問い② 9B・12Bより賢い? 05:00 問い③ 自分のPCで使うべき? 06:14 三つの問いの答え 【測り方について】 ・速さは、ほかの作業がない状態で各3回測った平均です(2026年10月11日)。動画の書き出しなど重い作業と一緒だと、速さが半分ほどまで落ちることがありました ・このPCのメモリは DDR4 で、2133 の設定で動いていました(作者のPCは DDR5-5200)。メモリやCPUが違うPCでは、速さが変わります ・Strata は温度などを送らないと、毎回いちばん確率の高い言葉を選びます。6つの課題は、モデルの作者がすすめる設定(温度1.0・top_p 0.95・top_k 20・min_p 0)で解かせました ・比べる相手(LLM-jp-4.1・Gemma 4 12B・Qwen3.5 9B)の点は、動画74(同じPC・同じ課題・同じ採点)のものです ・情報基準日:2026年10月11日(Strata 0.1.41、Qwen3.8-Flash-Next IQ2_XS・Q2_0) 【主な出典】 Strata(GitHub Niko1221/Strata) https://github.com/Niko1221/Strata Strata docs/MODELS.md(サイズごとの速さとメモリ) https://github.com/Niko1221/Strata/bl... Strata docs/DETAILS.md(作者のPCで測った速さ) https://github.com/Niko1221/Strata/bl... Strata docs/INSTALL.md(必要なもの) https://github.com/Niko1221/Strata/bl... Qwen3.8-Flash-Next(Hugging Face) https://huggingface.co/Qwen/Qwen3.8-F... 【関連動画】 日本語なら国産のローカルAI? LLM-jp-4.1・ELYZAを、Qwen・Gemmaと12GBのPCで比べた    • 日本語なら国産のローカルAI? LLM-jp-4.1・ELYZAを、Qwen・Gem...   【クレジット】 音声:VOICEVOX:ずんだもん・四国めたん 立ち絵素材:坂本アヒル 様 BGM:ほんわかぷっぷー/もっぴーさうんど 様 https://opentracks.com/bgm/detail/1854 効果音:本制作のために合成したオリジナル音源 映像:Pythonでコード描画(図解・文字)。 サムネイル:キャラクターのデザインシートを参照し、文字とともに画像生成。 情報基準日:2026年10月11日。