Запуск огромной модели GLM-5.2 744B локально через Colibri: только RAM и диск — БЕЗ GPU

#машинноеобучение #ИИ #LLM Создание этих бесплатных видеоуроков требует значительного времени и усилий. Вы можете поддержать мои усилия следующими способами: Купите мне кофе: https://www.buymeacoffee.com/Aleksand... PayPal: https://www.paypal.me/AleksandarHaber Patreon: https://www.patreon.com/user?u=320801... Вы также можете нажать кнопку «Спасибо YouTube Dollar» В этом уроке мы объясним, как запустить на локальном компьютере движок Colibri. Этот движок позволяет нам запускать модель GLM-5.2 с 744 байтами параметров. Colibri позволяет нам запускать крупномасштабную модель на обычном компьютере с ~25 ГБ оперативной памяти. Он написан на чистом C, без зависимостей, с использованием потоковых экспертов с диска. Colibrì — это легковесная среда выполнения MoE, сохраняющая качество, которая рассматривает видеопамять, оперативную память и хранилище как единую управляемую иерархию памяти.