Перейти к содержимому

ついにMac対応!怪物推論エンジンStrataをM6 Mac mini 32GBで実測検証【M6 Mac mini #ローカルLLM】

ふじもったチャンネル

0:00 / 0:00

ついにMac対応!怪物推論エンジンStrataをM6 Mac mini 32GBで実測検証【M6 Mac mini #ローカルLLM】

9 334 просмотра · 3 дн. назад
ふじもったチャンネル
2,23 тыс. подписчиков
9 334 просмотра · 3 дн. назад
WindowsやLinux環境で圧倒的な推論速度を誇っていた新進気鋭の推論エンジン「Strata(v0.1.44)」が、ついにMacに対応しました! 今回はM6 Mac mini(メモリ32GB / 内蔵SSD 256GB + 外付けSSD 512GB)の実機環境を使い、Qwen3.8-Flash-Next 180B(IQ3_XXS)を動かして実測検証を行いました。 初期設定では外付けSSDの読み込み詰まりにより「2.5 tok/s」と低迷したものの、約40GBのエキスパートデータのみを内蔵SSDへシンボリックリンクで移行することで「約10 tok/s」まで改善。さらにStrataのメモリ配分を最適化(空きメモリを7GB→2GBまで調整)した結果、最終的に【15.6 tok/s】まで叩き出すことに成功しました。 コンテキストが約9.5万トークンに達しても生成速度が落ちない強みを見せた一方、Metal構成でのNeural Engine(NPU)未対応によるプレフィル待ち時間や、途中割り込み時のキャッシュヒット挙動など、現時点での課題と常用に向けた正直な評価をお話しします。 #Strata #ローカルLLM #生成AI #M6Macmini #Macmini #Apple #Qwen #推論エンジン #LMStudio 00:00 オープニング 00:18 Strata、ついにMac対応! 02:19 M6 Mac mini 32GBで検証 04:42 メモリ配分で速度が変わる 06:53 長時間のエージェント運用へ 08:16 使って見えた課題 10:05 現時点での結論