MiniCPM5-2BはMacで動く？Ollama v0.34とvLLM 0.29の落とし穴3つ

MiniCPM5-2B は約25億パラメータで13万1072トークンの文脈に対応し、GGUF と MLX と GPTQ が開発元から出ています。Ollama 0.34.0 は ChatGPT Desktop の中から手元のモデルを呼べるようになりました。そして vLLM 0.29.0 では Model Runner V2 が全モデルの既定になり、未対応だと黙って V1 に落ちます。今週の新モデル4本を「手元で動くか」の同じ軸で並べて整理します。 このシリーズは「ローカル/オープンウェイトのモデルを自分の環境で動かす」視点でまとめています。クラウド専用・商用API (GPT / Claude / Gemini) は別シリーズで扱います。 ■ 目次 (前半は Mac・低リソース勢向け・後半は自宅GPU勢と業務オンプレ検討勢向け) 0:00 今週の結論と、今日刺さる環境 0:52 時系列: 9月5日から10日に出たもの 1:46 Ollama 0.34.0: ChatGPT Desktopから手元のモデル 3:16 MiniCPM5-2B: 25億で13万トークンの文脈 5:26 vLLM 0.29.0: V2が既定になった落とし穴3つ 7:30 Lightning Tour: 今週の残り4本と論文 8:33 4モデルを「手元で動くか」で並べる 10:12 今日の総括 10:56 取り上げなかったものと注意点 Mac で Ollama を使っている方は 1:40 から、自宅GPUや社内サーバで動かしている方は 5:19 からが本番です。 ■ 今回の主な出典 Ollama v0.34.0 リリースノート (GitHub) https://github.com/ollama/ollama/rele... Ollama v0.33.3...v0.34.0 の差分 (GitHub) https://github.com/ollama/ollama/comp... vLLM v0.29.0 リリースノート (GitHub) https://github.com/vllm-project/vllm/... Model Runner V2 の解説 (vLLM 公式ブログ) https://vllm.ai/blog/2026-03-24-mrv2 openbmb/MiniCPM5-2B (Hugging Face) https://huggingface.co/openbmb/MiniCP... openbmb/MiniCPM5-2B-GGUF (Hugging Face) https://huggingface.co/openbmb/MiniCP... OpenBMB/MiniCPM (GitHub) https://github.com/OpenBMB/MiniCPM MiniCPM5-2B の外部評価ページ (Artificial Analysis) https://artificialanalysis.ai/models/... deepseek-ai/DeepSeek-V4.1-Flash (Hugging Face) https://huggingface.co/deepseek-ai/De... DeepSeek-V4.1-Flash の公式発表 (DeepSeek) https://www.deepseek.com/en/news/deep... nex-agi/Nex-N2.5-mini (Hugging Face) https://huggingface.co/nex-agi/Nex-N2... nex-agi/Nex-N2.5-Pro (Hugging Face) https://huggingface.co/nex-agi/Nex-N2... Edge0/Edge0-35B-A3B-preview (Hugging Face) https://huggingface.co/Edge0/Edge0-35... m-a-p/YuE2-3B (Hugging Face) https://huggingface.co/m-a-p/YuE2-3B Beyond Solver Verdicts: Generative Reward Models for Autoformalization https://huggingface.co/papers/2609.11085 Building Multilingual Bridges: Data Mixing as the Pillar of Generalization for In-Language Reasoning https://huggingface.co/papers/2609.10445 Think Before You Link: Rarity, Reasoning, and Retrieval in Multilingual Entity Linking https://huggingface.co/papers/2609.10745 ■ 動画中に出てくる正確な表記 (音声では抽象化しています) Ollama 0.34.0 の変更点: ChatGPT Desktop でのオープンモデル利用 / Apple Silicon での構造化出力の性能改善 / OpenAI 互換クライアント向けのツール検索と応答圧縮 vLLM 0.29.0 の変更点: Model Runner V2 が全モデルの既定 (#53183) / 入力準備の GPU 化 / 非同期実行前提の設計 / 未対応機能と一部 ROCm モデルは V1 へ自動フォールバック / V1 は v0.32 で削除予定 モデル ID: openbmb/MiniCPM5-2B / openbmb/MiniCPM5-2B-GGUF / deepseek-ai/DeepSeek-V4.1-Flash / nex-agi/Nex-N2.5-mini / nex-agi/Nex-N2.5-Pro / Edge0/Edge0-35B-A3B-preview / m-a-p/YuE2-3B Nex-N2.5-mini の土台: Qwen3.5-35B-A3B-Base Nex-N2.5-Pro の土台: Qwen3.5-397B-A17B ■ 動画で口頭では読まなかった数字 (スライドに出しています) MiniCPM5-2B: いいね1220 / ダウンロード10万2334件 MiniCPM5-2B-GGUF: ダウンロード8万7316件 DeepSeek-V4.1-Flash: いいね1877 / ダウンロード7万5774件 Nex-N2.5-mini: いいね705 / ダウンロード3121件 Nex-N2.5-Pro: いいね605 / ダウンロード1万2260件 Edge0-35B-A3B-preview: いいね272 / ダウンロード951件 YuE2-3B: いいね273 / ダウンロード971件 25億パラメータの重みの大きさ (概算): 4ビットで約1.25GB / 8ビットで約2.5GB / 16ビットで約5GB ■ 注意 ・いいね数とダウンロード数は、2026年9月12日に Hugging Face のトレンド一覧から取得した値です。時点が変われば数字も変わります。 ・25億パラメータの必要メモリ (4ビットで約1.25GB など) は、パラメータ数からの単純計算による概算です。実際は補正が乗ります。公称値は配布元のモデルカードをご確認ください。 ・MiniCPM5-2B の「34ベンチマーク平均53.9」は OpenBMB による測定で、開発元の自己評価を含みます。 ・MiniCPM5-2B の外部評価サイトの点数が、開発元の投稿では23、2026年9月12日時点の公開ページでは13と食い違っています。理由は確認できていません。 ・「RTX 3060 で毎秒163トークン」「repeat penalty を 1.15 にすると反復ループが直る」は未確認の利用者報告として扱っており、事実としては扱っていません。 ・「ChatGPT Desktop が自動で Ollama のモデルへ切り替わり、クラウドモデルに戻せなくなる場合がある」は未確認の利用者報告です。 ・「NVIDIA AGX Thor 上で Qwen3.8-27B を動かすと起動時に落ちる」は GitHub Issue の報告で、メンテナーによる原因の確認も修正も示されていません。 ・「RTX 5090 と 128GB RAM で量子化版が毎秒5.1トークン」は未確認の個人報告です。 ・Nex-N2.5 系の公式ベンチマークには開発元の自己評価が含まれます。 ・MiniCPM5-2B (OpenBMB)、DeepSeek-V4.1-Flash、Nex-N2.5 系の土台となる Qwen3.5 は、いずれも中国で開発されたモデルです。利用規約と出力言語の偏りは各自でご確認ください。 ・X の投稿・フォーラム・記事の本文は引用せず、公開情報をもとに自分の言葉で再構成しています。 音声合成: VOICEVOX:玄野武宏 --- 出典: ・HuggingFace Trending / GitHub Releases ・GitHub ollama/ollama v0.34.0 ・HuggingFace openbmb/MiniCPM5-2B ・GitHub vllm-project/vllm v0.29.0 ・HuggingFace Trending / HuggingFace Papers ・HuggingFace 各モデルカード --- BGM: ryoichi_u (Suno AI で生成)