Запуск локальных LLM-приложений на NVIDIA DGX Spark – полевой отчет

Это не руководство по запуску локальных LLM-моделей. Это полевой отчёт о создании Gepetto — персональной среды мышления, где человеческий и машинный интеллект сотрудничают как партнёры. Локальные LLM-модели не являются центром этой системы, но они представляют собой важный слой. В этом видео я тестирую NVIDIA DGX Spark в качестве физической основы для локального выполнения и документирую, что на самом деле происходит, когда исчезает абстракция и вступает в действие реальность. Что сработало, что сломалось и почему предсказуемое поведение важнее, чем бенчмарки. Это не обзор продукта, не инвестиционный совет и не рейтинг моделей. Это честный снимок процесса создания инфраструктуры локального мышления на данный момент. 0:00 – Интеллект, последний рубеж 0:27 – Первая миссия: создание локальной инфраструктуры выполнения 1:14 – Аппаратное обеспечение как проверка реальности (NVIDIA DGX Spark) 2:50 – Что должен делать локальный слой 4:30 – Среды выполнения 5:18 – Тестирование сред выполнения 14:00 – Когда системе приходилось выживать без меня 16:00 – Пользовательский интерфейс как мыслительный протез 19:30 – Что это значит для Spark ОБ ЭТОМ ВИДЕО В этом видео рассматривается один конкретный пример использования: однопользовательская исследовательская работа, где когнитивный поток важнее пиковой пропускной способности. Аппаратное обеспечение NVIDIA DGX Spark превосходно. Окружающая программная экосистема еще не полностью готова. Если вы хотите получить что-то готовое и беспроблемное, лучше подождать. Если вы хотите понять, куда может двигаться инфраструктура персонального мышления, это видео покажет вам, где находятся подводные камни. О GEPETTO Gepetto — это развивающаяся среда мышления, созданная на основе идеи о том, что интеллект может возникать между людьми и машинами — не как инструменты, а как партнеры. Это видео охватывает один из уровней этой системы: локальное исполнение. ПРОТЕСТИРОВАНО АППАРАТНОЕ И ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ Аппаратное обеспечение: NVIDIA DGX Spark (ARM64, унифицированная память) Модели: DeepSeek Coder 16B Qwen Coder 30B Qwen 2.5 32B Qwen 2.5 72B Среды выполнения: Ollama SG-Lang TensorRT-LLM #localllm #aiinfrastructure #dgxspark #nvidia #Gepetto #ThinkingEnvironment #aiengineering 28 декабря 2025 г.