Запуск Ollama с ускорением NVIDIA GPU на Proxmox LXC (2026)
Hake Hardware
0:00 / 0:00
Запуск Ollama с ускорением NVIDIA GPU на Proxmox LXC (2026)
3 486 просмотров · 6 мес. назад
Hake Hardware
8,11 тыс. подписчиков
3 486 просмотров · 6 мес. назад
Запустите Ollama с полным ускорением NVIDIA GPU внутри Proxmox LXC — Docker не требуется. Это руководство шаг за шагом описывает весь процесс: добавление nouveau в черный список, установка драйверов NVIDIA на хост и в контейнер, создание Debian 13 LXC с сквозной передачей GPU и ручная установка Ollama (без скрипта установки). Мы также настроим службу systemd, привяжем Ollama к сети для доступа между контейнерами и проверим использование GPU несколькими способами.
Затем мы выйдем за рамки основ и переведем его в продакшн: DNS-запись Pi-hole, обратный прокси Caddy с SSL Cloudflare, задание Proxmox Backup Server с .pxarexclude для пропуска файлов моделей и мониторинг Uptime Kuma как для API, так и для контейнера.
Часть 1 серии Paperless-ngx на Proxmox. Ollama используется в качестве локального бэкенда LLM для Paperless-GPT во второй части.
Письменное руководство с командами для копирования и вставки: https://localhake.com/content/ollama-...
Характеристики, использованные в этом видео:
Proxmox VE 9.1
Debian 13 (Trixie) LXC
Драйвер NVIDIA 595.58.03
Ollama (ручная установка из архива)
RTX 3060 12 ГБ (сквозная передача GPU)
Связанные видео:
Pi-hole и Unbound на Proxmox LXC
Caddy с Cloudflare SSL на Proxmox LXC
Руководство по настройке сервера резервного копирования Proxmox
Uptime Kuma: установка и первые мониторы
Paperless-ngx на Proxmox LXC (Часть 1)
Paperless-GPT на Proxmox LXC (Часть 2)
0:00 Введение
1:16 Письменное руководство и функция копирования
2:15 Черный список драйверов Nouveau
3:13 Пересборка initramfs и перезагрузка
3:57 Установка драйвера NVIDIA на хост
5:34 Создание LXC Ollama
7:15 Конфигурация сквозной передачи GPU
8:30 Установка пользовательского пространства NVIDIA в LXC
9:55 Установка Ollama (ручной метод)
10:41 Служба Systemd и привязка сети
12:34 Загрузка модели и первое тестирование
13:16 Проверка использования GPU
14:54 DNS-запись Pi-hole
16:19 Обратный прокси Caddy с SSL
17:26 Резервное копирование PBS с помощью .pxarexclude
19:38 Мониторинг времени безотказной работы Kuma
20:59 Следующие шаги