Обзор Mac Studio M5 Ultra для локальных LLM: LM Studio против oMLX против TensorFold

Я получил Mac Studio M5 Ultra с 256 ГБ памяти и потратил день на его тестирование в локальной среде разработки ИИ: насколько быстро модели записывают данные, насколько быстро они их считывают, как долго приходится ждать ответа на запрос с 32 000 токенов и насколько хорошо они восстанавливают веб-страницу по скриншоту. Затем перешёл к задачам программирования: те же задачи через LM Studio, oMLX и Claude Sonnet 5.5, и вердикт о том, заменяет ли это подписку. Что в нём содержится: десять настроек моделей в LM Studio, oMLX и TensorFold (https://github.com/ashhart/TensorFold), объяснение приёма с черновой моделью, восстановление сайта auvoris.com шестью моделями только по скриншоту, ещё два сайта в качестве тестов на чтение и три задачи программирования, запущенные через OpenCode. РАЗДЕЛЫ 0:00 Прибытие и вопрос 0:12 Сначала цифры 0:39 Что помещается в 256 ГБ 1:05 Чтение против записи 1:26 Насколько быстро записывается 2:08 Насколько быстро читается 2:33 Ожидание 32k токенов 3:13 Теория кэша 3:37 Flash Next, сравнение 4:08 TensorFold 4:32 Трюк с черновой моделью 5:22 Скриншот на веб-страницу 5:54 Чтение изображения 6:11 Перестройки 6:47 Еще два сайта 7:28 Задания по программированию: настройка 8:12 Тест Lumen 8:35 Запуск LM Studio 8:52 Страница работает 9:08 Запуск oMLX 9:32 Sonnet и страницы рядом 9:58 Тест два 10:12 Тест три 10:33 Проверка нагрев 11:05 Вердикт 11:58 Краткое содержание и благодарность ПРОЧИТАЙТЕ ЭТО ПЕРЕД ТЕМ, КАК ЦИТИРОВАТЬ ЧИСЛО Одна машина, первый день, в основном один запуск на каждую настройку. Настройки различаются по построению модели и квантизации, поэтому графики сравнивают настройки, а не движки в отрыве друг от друга. Скорости измеряются моим собственным клиентом на основе подсчета токенов на сервере. Температура 0, и я думаю о более пологих ускорениях черновой модели. Участки замедленной съемки обозначены на экране. Я не сравнивал с моим MacBook на той же модели. Страницы, использованные в качестве тестовых входных данных (все мои): https://auvoris.com/ , https://circuitforgelabs.com , https://ekvidu.com Озвучка — клонированная версия моего голоса (HeyGen). Звуковая дорожка была сгенерирована с помощью Gemini. Миниатюрное изображение меня с Mac было сгенерировано с помощью Gemini. Субтитры: английские и польские. Если это оказалось полезным, подписка бесплатна и помогает мне проводить больше подобных тестов.