Панельная дискуссия 4 001
vCluster
0:00 / 0:00
Панельная дискуссия 4 001
249 просмотров · 3 нед. назад
vCluster
2,87 тыс. подписчиков
249 просмотров · 3 нед. назад
Присоединяйтесь к Вибхору Чинде и Эдпуганти Анирудху, которые расскажут о самостоятельном размещении небольших языковых моделей в Kubernetes с помощью LiteLLM и KServe. В этом докладе будет рассмотрена альтернатива использованию размещенных API для языковых моделей, с акцентом на инструменты и инфраструктуру, необходимые для запуска SLM на собственном стеке.
#Kubernetes #LiteLLM #KServe