Виртуальная практическая лаборатория в прямом эфире: распределенное обучение в масштабе с Ray и P...

Готовы выйти за рамки ограничений одной видеокарты и освоить распределенные системы? Присоединяйтесь к нам на виртуальном практическом занятии, где инженеры по машинному обучению и платформе изучат, как масштабировать обучение моделей от одного узла до огромного кластера с помощью PyTorch и Ray. На этом виртуальном занятии вы узнаете: Что такое распределенное обучение? И нужно ли оно нам? Введение в распределенное параллельное обучение данных (DDP) Использование передовых методов DDP с ZeRO-1, ZeRO-2, ZeRO-3 и FSDP Введение в Ray и как использовать Ray Train для обучения моделей в масштабе Обучение модели в масштабе с использованием Ray Train и PyTorch Это бесплатное практическое занятие — больше, чем просто вебинар. Вы получите рабочее понимание Ray, многоразовый проект, на основе которого можно строить дальнейшую работу, и четкое представление о том, как Ray и Anyscale работают вместе для ускорения разработки ИИ.