Как самостоятельно развернуть LLM-шлюз с помощью Docker! Настройка Bifrost AI Gateway

Создайте саморазмещенный шлюз LLM в Docker с Bifrost и двумя локальными моделями Ollama, без необходимости использования ключа API, и наблюдайте, как он прерывает неконтролируемый цикл с ошибкой 402. Каждый вызов модели проходит через один процесс, который обрабатывает запрос OpenAI, поэтому перенос клиента осуществляется простым изменением базового URL. Затем я настраиваю внутренний прайс-лист, бюджет команды и виртуальные ключи для каждой службы, распределяю трафик 80/20 между двумя провайдерами, останавливаю один контейнер, чтобы получить ошибку 502, а затем плавно переключаюсь на Gemma 3, и запускаю цикл расходования ресурсов, пока его бюджет не откажет. Затем я добавляю точное и семантическое кэширование с помощью Redis и всех MiniLM-моделей, показываю, как семантическое кэширование уверенно отвечает на запрос MySQL ответом Postgres, и читаю логи каждого вызова для получения информации о токенах, стоимости и накладных расходах шлюза. Попутно: две настройки Ollama, которые сделали модели пригодными для использования внутри Docker, и почему модель без цены сообщает о том, что она бесплатна навсегда. Создано на основе Bifrost версии 2.2.1. ⏱️ Разделы 0:00 - Вызов 31 отклонен: цикл обработки запросов достигает своего лимита 0:51 - Что на самом деле делает шлюз LLM 2:12 - Стек Docker Compose: Ollama, Redis, Bifrost 3:34 - Два исправления, которые сделали Ollama пригодным для использования в Docker 4:41 - Блок использования, из которого строится каждая стоимость 5:24 - Настройка провайдеров Bifrost и кэша 7:30 - Миграция клиента: изменение одного базового URL 8:30 - Тарифные карты, команды и виртуальные ключи 11:03 - Взвешенная маршрутизация между двумя провайдерами 11:45 - Переключение при отказе провайдера 13:07 - Ограничения бюджета: цикл обработки запросов достигает ошибки 402 14:48 - Точное и семантическое кэширование с Redis 16:48 - Когда семантический кэш отвечает неправильно 17:33 - Журналы вызовов, стоимость и шлюз накладные расходы 19:01 - Краткий обзор и компромиссы в производственной среде 🔗 Ссылки Bifrost: https://github.com/maximhq/bifrost Ollama: https://ollama.com Redis: https://redis.io Docker: https://www.docker.com #LLMGateway #AIGateway #Bifrost #MaximAI #Ollama #Docker #DockerCompose #Redis #selfhostedLLM #localLLM #semanticcache #LLMOps #Qwen #Gemma #OpenAI