я взял его... и он БЫСТРЫЙ!!!
NetworkChuck
0:00 / 0:00
я взял его... и он БЫСТРЫЙ!!!
299 174 просмотра · 17 часов назад
NetworkChuck
5,41 млн подписчиков
299 174 просмотра · 17 часов назад
Попробуйте локальный ИИ в Micro Center, центре ИИ: https://micro.center/322535
Остин, Техас: зарегистрируйтесь сейчас и получите БЕСПЛАТНЫЙ флеш-накопитель на 128 ГБ, который можно будет получить после открытия нового магазина в Остине: https://micro.center/196cca
Apple утверждает, что новый Mac Studio M5 Ultra в 4 раза быстрее, чем M3 Ultra, при обработке запросов LLM. У меня есть Mac Studio M3 Ultra, поэтому я сравнил их в локальном ИИ: одна и та же модель, один и тот же запрос, одинаковые настройки. При запросе на 32 000 токенов с Qwen3.8 27B M5 Ultra начал отвечать за 21,7 секунды. M3 Ultra потребовалось 82,8 секунды. Это в 3,8 раза быстрее. Затем M5 выдал ответ в 1,5 раза быстрее (43,3 против 28,1 токенов в секунду), что соответствует увеличению пропускной способности памяти с 819 ГБ/с до 1,2 ТБ/с.
Затем я запустил свою основную работу. Whisper расшифровал два часа моего аудио примерно за полторы минуты. Локальная модель компьютерного зрения описала мой видеоматериал — задача, за которую я сейчас плачу Gemini Video API. Я сгенерировал изображения с помощью FLUX.2 и видео с помощью LTX-2.5, запустил своего агента Hermes на локальной модели, попробовал модель открытого принятия решений (Laya) вместо Jev и позволил локальной модели редактировать видео в DaVinci Resolve через свой MCP-сервер. Все это работает на Mac. Интернет не требуется.
В этом видео вы узнаете, как сравниваются M5 Ultra и M3 Ultra при локальном запуске LLM-моделей с MLX, почему время ожидания первого слова (время до первого токена) сократилось примерно в 4 раза, в то время как скорость записи увеличилась всего в 1,5 раза, как размер модели и модели с плотной выборкой экспертов (dense) или смешанной выборкой экспертов влияют на эти показатели, и имеет ли смысл использовать Mac Studio в качестве собственного локального сервера ИИ.
Компания Apple предоставила мне Mac Studio M5 Ultra для этого видео, и он возвращается им. Они не контролируют мои слова, и все тесты и все цифры принадлежат мне.
Присоединяйтесь к Академии NetworkChuck!: https://ntck.co/NCAcademy
РЕСУРСЫ / ССЫЛКИ:
📊 Все результаты, исходные данные и мой инструмент для бенчмаркинга: https://github.com/theNetworkChuck/ma...
🌐 Результаты в виде веб-страницы: https://thenetworkchuck.github.io/mac...
🍎 Покупайте продукцию Apple в Micro Center: https://micro.center/65c6f2
📰 Новости Micro Center: https://micro.center/5059e1
🛠️ MLX (фреймворк машинного обучения Apple): https://github.com/ml-explore/mlx
🛠️ mlx-lm (запускает модели чата): https://github.com/ml-explore/mlx-lm
🤖 Qwen3.8 27B, 4-битный MLX (модель гонки): https://huggingface.co/mlx-community/...
🎙️ Whisper на MLX: https://github.com/ml-explore/mlx-exa...
🖼️ mflux (FLUX.2 на MLX): https://github.com/filipstrand/mflux
🖼️ FLUX.2 klein 4B: https://huggingface.co/black-forest-l...
🎬 Видеомодель LTX-2.5: https://huggingface.co/Lightricks/LTX...
🧠 Модель принятия решений Laya: https://huggingface.co/convaiinnovati...
🤖 Агент Hermes: https://github.com/NousResearch/herme...
📺 Настройте своего агента Hermes: • you need to use Hermes RIGHT NOW!! (goodby...
🤖 LM Studio (и Bionic): https://lmstudio.ai
🎬 DaVinci Resolve: https://www.blackmagicdesign.com/prod...
*Спонсор: Micro Center*
ПОДДЕРЖИТЕ NETWORKCHUCK:
☕☕ КОФЕ и ТОВАРЫ: https://ntck.co/coffee
ГОТОВЫ УЧИТЬСЯ??
🔥🔥Присоединяйтесь к Академии NetworkChuck!: https://ntck.co/NCAcademy
📚 Курс CCNA: https://ntck.co/ccna
СЛЕДИТЕ ЗА МНОЙ ВЕЗДЕ:
Instagram: / networkchuck
X/Twitter: https://x.com/networkchuck
Facebook: / networkchuck
Присоединяйтесь к серверу Discord: https://ntck.co/discord
Некоторые ссылки в этом описании являются партнерскими. Если вы совершите покупку по ним, я могу получить небольшую комиссию без дополнительных затрат с вашей стороны.
#macstudio #localai #m5ultra