MiniCPM-V 4.7 — это ПРОСТО ПУШКА… 35B Vision AI на 24 ГБ ОЗУ! Тестируем локально!

OpenBMB утверждает, что MiniCPM-V 4.7, 35-битная модель открытого зрения, работает на iPhone со скоростью более 13 токенов в секунду, занимая около 3 ГБ памяти. Я объясняю, как Lookahead Expert Scheduling позволяет использовать модель, основанную на сочетании экспертов, на телефоне, и как работает сжатие визуальных токенов 4x/16x. Затем я запускаю его на своем MacBook Air M5 с 24 ГБ оперативной памяти, используя файл смешанной точности размером 15,5 ГБ и одну команду sudo, которая увеличивает лимит памяти GPU. Я протестировал OCR, рукописный ввод, диаграммы, сравнение нескольких изображений, код и три задачи агента с вызовами инструментов и сравнил его с 1-битной моделью. Я также рассказываю о результатах ранних тестов на X, как положительных, так и отрицательных. Источники: Сообщение о запуске OpenBMB: https://x.com/OpenBMB/status/21096945... Коллекция Hugging Face: https://huggingface.co/collections/op... Файлы GGUF: https://huggingface.co/openbmb/MiniCP... Техническая документация LES: https://github.com/tc-mb/llama.cpp-om... Руководство пользователя MiniCPM-V (развертывание + таблица оборудования): https://github.com/OpenSQZ/MiniCPM-V-... Запрос на поддержку llama.cpp: https://github.com/ggml-org/llama.cpp... Сообщения тестировщика о X: https://x.com/PaulGugAI/status/210975... https://x.com/DogukanUrker/status/210... https://x.com/Tech2Wild/status/210976... https://x.com/prompt48/status/2109845... https://x.com/iacta_alea_est6/status/... https://x.com/atomic_chat_hq/status/2...