Перейти к содержимому

я взял его... и он БЫСТРЫЙ!!!

NetworkChuck

0:00 / 0:00

я взял его... и он БЫСТРЫЙ!!!

299 174 просмотра · 17 часов назад
NetworkChuck
5,41 млн подписчиков
299 174 просмотра · 17 часов назад
Попробуйте локальный ИИ в Micro Center, центре ИИ: https://micro.center/322535 Остин, Техас: зарегистрируйтесь сейчас и получите БЕСПЛАТНЫЙ флеш-накопитель на 128 ГБ, который можно будет получить после открытия нового магазина в Остине: https://micro.center/196cca Apple утверждает, что новый Mac Studio M5 Ultra в 4 раза быстрее, чем M3 Ultra, при обработке запросов LLM. У меня есть Mac Studio M3 Ultra, поэтому я сравнил их в локальном ИИ: одна и та же модель, один и тот же запрос, одинаковые настройки. При запросе на 32 000 токенов с Qwen3.8 27B M5 Ultra начал отвечать за 21,7 секунды. M3 Ultra потребовалось 82,8 секунды. Это в 3,8 раза быстрее. Затем M5 выдал ответ в 1,5 раза быстрее (43,3 против 28,1 токенов в секунду), что соответствует увеличению пропускной способности памяти с 819 ГБ/с до 1,2 ТБ/с. Затем я запустил свою основную работу. Whisper расшифровал два часа моего аудио примерно за полторы минуты. Локальная модель компьютерного зрения описала мой видеоматериал — задача, за которую я сейчас плачу Gemini Video API. Я сгенерировал изображения с помощью FLUX.2 и видео с помощью LTX-2.5, запустил своего агента Hermes на локальной модели, попробовал модель открытого принятия решений (Laya) вместо Jev и позволил локальной модели редактировать видео в DaVinci Resolve через свой MCP-сервер. Все это работает на Mac. Интернет не требуется. В этом видео вы узнаете, как сравниваются M5 Ultra и M3 Ultra при локальном запуске LLM-моделей с MLX, почему время ожидания первого слова (время до первого токена) сократилось примерно в 4 раза, в то время как скорость записи увеличилась всего в 1,5 раза, как размер модели и модели с плотной выборкой экспертов (dense) или смешанной выборкой экспертов влияют на эти показатели, и имеет ли смысл использовать Mac Studio в качестве собственного локального сервера ИИ. Компания Apple предоставила мне Mac Studio M5 Ultra для этого видео, и он возвращается им. Они не контролируют мои слова, и все тесты и все цифры принадлежат мне. Присоединяйтесь к Академии NetworkChuck!: https://ntck.co/NCAcademy РЕСУРСЫ / ССЫЛКИ: 📊 Все результаты, исходные данные и мой инструмент для бенчмаркинга: https://github.com/theNetworkChuck/ma... 🌐 Результаты в виде веб-страницы: https://thenetworkchuck.github.io/mac... 🍎 Покупайте продукцию Apple в Micro Center: https://micro.center/65c6f2 📰 Новости Micro Center: https://micro.center/5059e1 🛠️ MLX (фреймворк машинного обучения Apple): https://github.com/ml-explore/mlx 🛠️ mlx-lm (запускает модели чата): https://github.com/ml-explore/mlx-lm 🤖 Qwen3.8 27B, 4-битный MLX (модель гонки): https://huggingface.co/mlx-community/... 🎙️ Whisper на MLX: https://github.com/ml-explore/mlx-exa... 🖼️ mflux (FLUX.2 на MLX): https://github.com/filipstrand/mflux 🖼️ FLUX.2 klein 4B: https://huggingface.co/black-forest-l... 🎬 Видеомодель LTX-2.5: https://huggingface.co/Lightricks/LTX... 🧠 Модель принятия решений Laya: https://huggingface.co/convaiinnovati... 🤖 Агент Hermes: https://github.com/NousResearch/herme... 📺 Настройте своего агента Hermes:    • you need to use Hermes RIGHT NOW!! (goodby...   🤖 LM Studio (и Bionic): https://lmstudio.ai 🎬 DaVinci Resolve: https://www.blackmagicdesign.com/prod... *Спонсор: Micro Center* ПОДДЕРЖИТЕ NETWORKCHUCK: ☕☕ КОФЕ и ТОВАРЫ: https://ntck.co/coffee ГОТОВЫ УЧИТЬСЯ?? 🔥🔥Присоединяйтесь к Академии NetworkChuck!: https://ntck.co/NCAcademy 📚 Курс CCNA: https://ntck.co/ccna СЛЕДИТЕ ЗА МНОЙ ВЕЗДЕ: Instagram:   / networkchuck   X/Twitter: https://x.com/networkchuck Facebook:   / networkchuck   Присоединяйтесь к серверу Discord: https://ntck.co/discord Некоторые ссылки в этом описании являются партнерскими. Если вы совершите покупку по ним, я могу получить небольшую комиссию без дополнительных затрат с вашей стороны. #macstudio #localai #m5ultra