日本語なら国産のローカルAI? LLM-jp-4.1・ELYZAを、Qwen・Gemmaと12GBのPCで比べた
AIの歩き方
0:00 / 0:00
日本語なら国産のローカルAI? LLM-jp-4.1・ELYZAを、Qwen・Gemmaと12GBのPCで比べた
6 544 просмотра · 2 дня назад
AIの歩き方
623 подписчика
6 544 просмотра · 2 дня назад
国立情報学研究所の「LLM-jp-4.1」と、ELYZAの「ELYZA-Thinking」。日本語に強いとうたう国産のローカルAIを、海外のQwen3.5 9B・Gemma 4 12Bと、GPUメモリ12GBのPCで比べました。
難読漢字の読み・間違えやすい言葉・日本の常識・祝日をはさむ営業日・敬語のメール・要約の6課題(各3回)と、公開されている問題集から選んだ100問(日本の知識・知識をつなぐ問題・算数・プログラム)を解かせています。
この動画では、三つの問いを順番に確かめます。
① 日本語ならではの問題で、国産は本当に強い?
② 問題を増やしたり、算数やプログラムでも、同じことが言える?
③ 12GBのPCなら、結局どれを選べばいい?
▼ 試した問題と全部の記録・Ollamaで国産AIを使う手順(資料ページ)
https://mowfile.com/japanese-local-ai...
【チャプター】
00:00 導入:国産のローカルAIと、今日の三つの問い
01:41 問い① 日本語ならではの問題で、国産は本当に強い?
05:15 問い② 問題を増やしたり、算数やプログラムでも、同じことが言える?
08:22 問い③ 12GBのPCなら、結局どれを選べばいい?
10:50 三つの問いの答え
【検証の条件】
・PC:RTX 4070 Ti(GPUメモリ12GB)、メモリ64GB、Windows 11。Ollama(6課題は0.35.1、問題集は途中で0.40.0に自動更新)
・AI:LLM-jp-4.1 8B/LLM-jp-4.1 32B-A3B(国立情報学研究所の公式GGUF)、ELYZA-Thinking-1.0 32B-A3B(GGUFは有志の変換)、Qwen3.5 9B、Gemma 4 12B。どれもQ4_K_M
・32B-A3Bは、動かすと約22.5GB(GPUに約9.7GB、残り約12.8GBはPCのメモリ)
・設定:国産3つは温度0.6・top_p 0.95(ELYZAのすすめる値。LLM-jp-4.1にはすすめる値の記載なし)、Qwen・GemmaはOllamaの初期設定(温度1)。考える機能はオン、読める長さ32,768、出す上限30,000トークン
・LLM-jp・ELYZAは、Ollamaの自動の形式(テンプレート)が崩れるため、公式の会話の形式(Harmony)どおりに文を組み立てて渡しました
・6課題は各3回の平均。問題集(JamC-QA 40問・JEMHopQA 20問・MGSM 20問・JHumanEval 20問)は各1回なので、1〜2問の差は入れ替わる程度の差です。公開の問題集なので、AIが学習で見ている可能性もあります
・答えが返るまでの時間は、考える量(設定でも変わる)に大きく左右されます。今回の設定での結果です
・「Swallow」の成績表のLLM-jpは、ひとつ前の版(LLM-jp-4)の値です。ELYZAの表のGemma 4 26B-A4B・Qwen3.5 35B-A3Bは、今回試したモデルより大きいモデルです
・情報基準日:2026年10月8日
【主な出典】
国立情報学研究所 大規模言語モデル研究開発センター「LLM-jp-4.1」シリーズを公開(2026-09-28)
https://llmc.nii.ac.jp/topics/llm-jp-...
LLM-jp-4.1 32B-A3B thinking(Hugging Face)
https://huggingface.co/llm-jp/llm-jp-...
ELYZA-Thinking-1.0-llm-jp-4-32b-a3b(Hugging Face)
https://huggingface.co/elyza/ELYZA-Th...
Swallow LLM Leaderboard v2(事後学習モデル)
https://swallow-llm.github.io/leaderb...
文化庁 平成24年度「国語に関する世論調査」
https://www.bunka.go.jp/tokei_hakusho...
国土地理院「全国都道府県市区町村別面積調」(2026年4月1日)
https://www.gsi.go.jp/KOKUJYOHO/MENCH...
内閣府「国民の祝日について」
https://www8.cao.go.jp/chosei/shukuji...
JamC-QA(SB Intuitions、CC BY-SA 4.0)
https://huggingface.co/datasets/sbint...
【関連動画】
同じ9Bで何が変わった? Ornith-1.5を12GB GPUで実機検証(Qwen3.5 9B・Gemma 4 12Bとも比較)
• 同じ9Bで何が変わった? Ornith-1.5を12GB GPUで実機検証【ずんだも...
【クレジット】
音声:VOICEVOX:ずんだもん・四国めたん
立ち絵素材:坂本アヒル 様
BGM:ほんわかぷっぷー/もっぴーさうんど 様
https://opentracks.com/bgm/detail/1854
効果音:本制作のために合成したオリジナル音源
映像:Pythonでコード描画(図解・文字)。
サムネイル:キャラクターのデザインシートを参照し、文字とともに画像生成。
情報基準日:2026年10月8日。