Перейти к содержимому

Запуск Ollama с ускорением NVIDIA GPU на Proxmox LXC (2026)

Hake Hardware

0:00 / 0:00

Запуск Ollama с ускорением NVIDIA GPU на Proxmox LXC (2026)

3 486 просмотров · 6 мес. назад
Hake Hardware
8,11 тыс. подписчиков
3 486 просмотров · 6 мес. назад
Запустите Ollama с полным ускорением NVIDIA GPU внутри Proxmox LXC — Docker не требуется. Это руководство шаг за шагом описывает весь процесс: добавление nouveau в черный список, установка драйверов NVIDIA на хост и в контейнер, создание Debian 13 LXC с сквозной передачей GPU и ручная установка Ollama (без скрипта установки). Мы также настроим службу systemd, привяжем Ollama к сети для доступа между контейнерами и проверим использование GPU несколькими способами. Затем мы выйдем за рамки основ и переведем его в продакшн: DNS-запись Pi-hole, обратный прокси Caddy с SSL Cloudflare, задание Proxmox Backup Server с .pxarexclude для пропуска файлов моделей и мониторинг Uptime Kuma как для API, так и для контейнера. Часть 1 серии Paperless-ngx на Proxmox. Ollama используется в качестве локального бэкенда LLM для Paperless-GPT во второй части. Письменное руководство с командами для копирования и вставки: https://localhake.com/content/ollama-... Характеристики, использованные в этом видео: Proxmox VE 9.1 Debian 13 (Trixie) LXC Драйвер NVIDIA 595.58.03 Ollama (ручная установка из архива) RTX 3060 12 ГБ (сквозная передача GPU) Связанные видео: Pi-hole и Unbound на Proxmox LXC Caddy с Cloudflare SSL на Proxmox LXC Руководство по настройке сервера резервного копирования Proxmox Uptime Kuma: установка и первые мониторы Paperless-ngx на Proxmox LXC (Часть 1) Paperless-GPT на Proxmox LXC (Часть 2) 0:00 Введение 1:16 Письменное руководство и функция копирования 2:15 Черный список драйверов Nouveau 3:13 Пересборка initramfs и перезагрузка 3:57 Установка драйвера NVIDIA на хост 5:34 Создание LXC Ollama 7:15 Конфигурация сквозной передачи GPU 8:30 Установка пользовательского пространства NVIDIA в LXC 9:55 Установка Ollama (ручной метод) 10:41 Служба Systemd и привязка сети 12:34 Загрузка модели и первое тестирование 13:16 Проверка использования GPU 14:54 DNS-запись Pi-hole 16:19 Обратный прокси Caddy с SSL 17:26 Резервное копирование PBS с помощью .pxarexclude 19:38 Мониторинг времени безотказной работы Kuma 20:59 Следующие шаги