Как настроить локальный ИИ на Apple MacBook Pro

Один из вас спросил, как запускать модели на MacBook Pro с процессором M1 16 ГБ, не возясь с именами файлов MLX, GGUF, Hugging Face и Ollama. Желательно с визуальным отображением. Итак, вот базовая схема. Я включил три способа настройки, все они взаимодействуют с одним и тем же локальным сервером. Во-первых, запустите модель. На Mac я использую MLX Serve. Он создан для Metal, поэтому вам не нужны Ollama или llama.cpp, хотя вы можете оставить их, если они вам уже нравятся. Файл модели — это интеллект. MLX Serve — это игрок. Запустите исполняемый файл с моделью в качестве аргумента, и он будет прослушивать localhost, порт 11234 (проверьте документацию, если этот номер изменился). Все остальное в этом видео взаимодействует с тем же адресом. — Командная строка. Я работаю в терминале, поэтому показываю настройку Grok Build. Конфигурационный файл находится в ~/.grok/config.toml. Укажите для записи модели адрес http://localhost:11234/v1, дайте ей имя, которое вы узнаете в /model, сделайте контекстное окно небольшим на 16 ГБ и установите бэкенд для автодополнения чата. Сохраните, перезапустите Grok Build, выберите модель. Codex и Claude Code работают по тому же принципу, но с разными конфигурационными файлами. Браузер. Open WebUI — это оболочка чата поверх локального сервера. У вас возникнут ассоциации с ChatGPT. Установите с их сайта, укажите localhost, и готово. Настольное приложение. MLX Serve — это приложение в строке меню поверх MLX Serve. Подписано и нотариально заверено, не в App Store. Список моделей с зеленым/оранжевым/красным индикатором соответствия, поиск «Обнимающее лицо», чат, генерация изображений, преобразование текста в речь, музыка, агенты и повторяющиеся задачи. Генерация видео тоже есть, но на 16 ГБ это недоступно. Для видеомодели размером 39 ГБ требуется около 64 ГБ памяти. Предостережения: Если модель не загружается, в 99% случаев это связано с нехваткой памяти. Ошибка будет выглядеть непонятно. Закройте все остальные приложения и попробуйте снова. Ссылки: MLX Serve / MLX Core (GitHub, подписанное приложение): https://github.com/ddalcu/mlx-serve/r... Сайт MLX Serve: https://mlxserve.com/ Open WebUI: https://openwebui.com/ Сайт: https://dragosroua.com Приложение Zen Tales: https://dragosroua.com/zen-tales/ Если это было полезно: поставьте лайк, поделитесь, подпишитесь. Если хотите еще один урок, оставьте комментарий. Я их читаю. #localAI, #MLXServe, #MLXCore, #AppleSilicon, #OpenWebUI, #GrokBuild, #MacBookPro, #openweights, #localLLM, #M1Mac, #HuggingFace, #privateAI, #runAIlocally, #GGUF, #Metal