Построение инфраструктуры для работы с LLM: опыт X5 Tech — лекция от Мичила Егорова, AIWW25

AIWW — проектная школа по машинному обучению от AI Talent Hub. ◼️ Полезно про AI в нашем Telegram-канале: http://t.me/aitalenthubnews ◼️ AI Talent Hub: https://ai.itmo.ru/?utm_source=youtub... Тайм-коды: 00:03 Введение и знакомство 01:13 Опыт и достижения 02:54 Требования к инфраструктуре 04:49 Локальная инфраструктура 06:38 Архитектура и масштабирование 10:31 Сервис маскирования 13:06 Выбор провайдера 17:08 Токен-менеджмент и тарификация 18:58 Инференс и бэкенды 20:39 Сравнение подходов и производительность 25:52 Мониторинг и логирование 29:33 Выбор новых моделей 32:02 Тестирование моделей 34:27 Создание внутреннего бенчмарка 40:12 Итоги и советы 41:25 Лаборатория искусственного интеллекта 44:40 Применение Open Source 46:44 Продуктивизация и использование LLM 48:18 Локальное развертывание 49:21 Проблемы с запросами и VPN 50:40 Управление базами знаний 52:28 Внешние модели 53:08 Финансовые показатели 57:53 Внутренние решения 59:28 Оценка и метрики 01:02:02 Заключение