Перейти к содержимому

日本語なら国産のローカルAI? LLM-jp-4.1・ELYZAを、Qwen・Gemmaと12GBのPCで比べた

AIの歩き方

0:00 / 0:00

日本語なら国産のローカルAI? LLM-jp-4.1・ELYZAを、Qwen・Gemmaと12GBのPCで比べた

6 544 просмотра · 2 дня назад
AIの歩き方
623 подписчика
6 544 просмотра · 2 дня назад
国立情報学研究所の「LLM-jp-4.1」と、ELYZAの「ELYZA-Thinking」。日本語に強いとうたう国産のローカルAIを、海外のQwen3.5 9B・Gemma 4 12Bと、GPUメモリ12GBのPCで比べました。 難読漢字の読み・間違えやすい言葉・日本の常識・祝日をはさむ営業日・敬語のメール・要約の6課題(各3回)と、公開されている問題集から選んだ100問(日本の知識・知識をつなぐ問題・算数・プログラム)を解かせています。 この動画では、三つの問いを順番に確かめます。 ① 日本語ならではの問題で、国産は本当に強い? ② 問題を増やしたり、算数やプログラムでも、同じことが言える? ③ 12GBのPCなら、結局どれを選べばいい? ▼ 試した問題と全部の記録・Ollamaで国産AIを使う手順(資料ページ) https://mowfile.com/japanese-local-ai... 【チャプター】 00:00 導入:国産のローカルAIと、今日の三つの問い 01:41 問い① 日本語ならではの問題で、国産は本当に強い? 05:15 問い② 問題を増やしたり、算数やプログラムでも、同じことが言える? 08:22 問い③ 12GBのPCなら、結局どれを選べばいい? 10:50 三つの問いの答え 【検証の条件】 ・PC:RTX 4070 Ti(GPUメモリ12GB)、メモリ64GB、Windows 11。Ollama(6課題は0.35.1、問題集は途中で0.40.0に自動更新) ・AI:LLM-jp-4.1 8B/LLM-jp-4.1 32B-A3B(国立情報学研究所の公式GGUF)、ELYZA-Thinking-1.0 32B-A3B(GGUFは有志の変換)、Qwen3.5 9B、Gemma 4 12B。どれもQ4_K_M ・32B-A3Bは、動かすと約22.5GB(GPUに約9.7GB、残り約12.8GBはPCのメモリ) ・設定:国産3つは温度0.6・top_p 0.95(ELYZAのすすめる値。LLM-jp-4.1にはすすめる値の記載なし)、Qwen・GemmaはOllamaの初期設定(温度1)。考える機能はオン、読める長さ32,768、出す上限30,000トークン ・LLM-jp・ELYZAは、Ollamaの自動の形式(テンプレート)が崩れるため、公式の会話の形式(Harmony)どおりに文を組み立てて渡しました ・6課題は各3回の平均。問題集(JamC-QA 40問・JEMHopQA 20問・MGSM 20問・JHumanEval 20問)は各1回なので、1〜2問の差は入れ替わる程度の差です。公開の問題集なので、AIが学習で見ている可能性もあります ・答えが返るまでの時間は、考える量(設定でも変わる)に大きく左右されます。今回の設定での結果です ・「Swallow」の成績表のLLM-jpは、ひとつ前の版(LLM-jp-4)の値です。ELYZAの表のGemma 4 26B-A4B・Qwen3.5 35B-A3Bは、今回試したモデルより大きいモデルです ・情報基準日:2026年10月8日 【主な出典】 国立情報学研究所 大規模言語モデル研究開発センター「LLM-jp-4.1」シリーズを公開(2026-09-28) https://llmc.nii.ac.jp/topics/llm-jp-... LLM-jp-4.1 32B-A3B thinking(Hugging Face) https://huggingface.co/llm-jp/llm-jp-... ELYZA-Thinking-1.0-llm-jp-4-32b-a3b(Hugging Face) https://huggingface.co/elyza/ELYZA-Th... Swallow LLM Leaderboard v2(事後学習モデル) https://swallow-llm.github.io/leaderb... 文化庁 平成24年度「国語に関する世論調査」 https://www.bunka.go.jp/tokei_hakusho... 国土地理院「全国都道府県市区町村別面積調」(2026年4月1日) https://www.gsi.go.jp/KOKUJYOHO/MENCH... 内閣府「国民の祝日について」 https://www8.cao.go.jp/chosei/shukuji... JamC-QA(SB Intuitions、CC BY-SA 4.0) https://huggingface.co/datasets/sbint... 【関連動画】 同じ9Bで何が変わった? Ornith-1.5を12GB GPUで実機検証(Qwen3.5 9B・Gemma 4 12Bとも比較)    • 同じ9Bで何が変わった? Ornith-1.5を12GB GPUで実機検証【ずんだも...   【クレジット】 音声:VOICEVOX:ずんだもん・四国めたん 立ち絵素材:坂本アヒル 様 BGM:ほんわかぷっぷー/もっぴーさうんど 様 https://opentracks.com/bgm/detail/1854 効果音:本制作のために合成したオリジナル音源 映像:Pythonでコード描画(図解・文字)。 サムネイル:キャラクターのデザインシートを参照し、文字とともに画像生成。 情報基準日:2026年10月8日。