Развертывание Gemma 2 27B LLM на Azure Container Apps с использованием Serverless GPU

Это видео является частью моего курса по Azure Container Apps на Udemy (бестселлер): https://www.udemy.com/course/azure-co... В этом видео я покажу, как развернуть большие языковые модели на Azure Container Apps Serverless GPU с использованием vLLM для вывода данных производственного уровня. Мы рассмотрим профили рабочей нагрузки GPU, запуск Gemma 4 31B на NVIDIA A100, использование API, совместимого с OpenAI, мониторинг использования GPU с помощью Azure Monitor и Grafana, а также понимание холодных запусков и ценообразования. Темы, затронутые в видео: Azure Container Apps Serverless GPU Высокопроизводительный вывод LLM с использованием vLLM Развертывание Gemma 4 31B Профили GPU NVIDIA A100 / T4 Проблемы холодного запуска Мониторинг GPU Сравнение стоимости с VM / AKS Подписывайтесь на меня в Twitter, чтобы получать больше контента:   / houssemdellai