Инфраструктура для задач AI: новые требования, архитектуры и технологии

Традиционная ИТ-инфраструктура не рассчитана на обучение и работу больших языковых моделей. Владимир Пластов, технический директор Netland, рассказывает, что учесть до запуска AI-проекта: требования к питанию, охлаждению и сети, архитектуры масштабирования, NVLink, InfiniBand и RoCEv2, GPUDirect Storage и выбор между собственной и облачной AI-инфраструктурой. Таймкоды: 00:00 Вступление 00:57 О чём доклад 01:36 Что такое инфраструктура для задач AI 01:53 Новые требования: питание и охлаждение 03:48 Архитектурные подходы: масштабирование и дезагрегация ресурсов 06:32 Сетевое взаимодействие: PCIe, NVLink, NVSwitch 09:29 InfiniBand и RoCEv2 10:55 GPUDirect Storage 13:12 On-Premise: решения Netland 14:46 Облачная AI-инфраструктура hoster.by 16:57 Гибридный сценарий: опыт Netland 18:01 Безопасность и техподдержка 19:38 Вопросы и ответы Подписывайтесь на наш канал:    / netland_system_integrator   Следите за новостями в социальных сетях: Facebook -   / netlandby   LinkedIn -   / netlandby   Instagram -   / netland_by   Telegram - https://t.me/netland_by