Урок по безопасности ИИ № 66: защита федеративного обучения для специалистов по безопасности

Данные ваших пользователей никогда не покидают их телефоны. В этом и заключается преимущество федеративного обучения. Но один вредоносный телефон может внедрить бэкдор в глобальную модель, которую скачивают все. В этом уроке дается определение федеративного обучения и цикла FedAvg, демонстрируется реальный запуск федеративного обучения с бэкдором на этом компьютере (девять клиентов, один вредоносный, 100% успешность атаки на входные данные триггера), называются три класса угроз и приводятся методы защиты, которые действительно работают. Цели: Определить федеративное обучение и цикл FedAvg (McMahan et al. 2017) Различить двух противников: честный, но любопытный сервер и злонамеренные клиенты Прочитать реальные результаты демонстрации бэкдора на этой машине: 72,5% базовый уровень, 66,2% атак, 100,0% успешных атак Объяснить отравление моделей и бэкдоры (Bagdasaryan et al. 2020) Объяснить утечку градиента (Zhu et al. 2019, Deep Leakage from Gradients) Объяснить клиентов Sybil и фрирайдинг Применить робастную агрегацию: Krum, усеченное среднее, медиана по координатам Применить обрезку плюс шум дифференциальной конфиденциальности к обновлениям Объяснить безопасную агрегацию (Bonawitz et al.) и аттестацию клиентов Сопоставить безопасность федеративного обучения с NIST AI RMF и NIST adversarial ML таксономия Запустите пятиэтапный рабочий процесс защитника: модель угроз, обрезка и шум, надежный агрегатор, мониторинг, красная команда Источники: McMahan et al., "Communication-Efficient Learning of Deep Networks from Decentralized Data" (arXiv 1602.05629): https://arxiv.org/abs/1602.05629 Bagdasaryan et al., "How To Backdoor Federated Learning" (arXiv 1807.00459): https://arxiv.org/abs/1807.00459 Zhu, Liu, Han, "Deep Leakage from Gradients" (arXiv 1906.08935): https://arxiv.org/abs/1906.08935 Bonawitz et al., "Practical Secure" «Агрегация для федеративного обучения на данных, хранящихся у пользователя» (arXiv 1611.04482): https://arxiv.org/abs/1611.04482 NIST AI 100-2e2023, Таксономия и терминология состязательного машинного обучения: https://nvlpubs.nist.gov/nistpubs/ai/... Структура управления рисками в области ИИ от NIST: https://www.nist.gov/itl/ai-risk-mana... MITRE ATLAS: https://atlas.mitre.org/ OWASP GenAI: https://genai.owasp.org/ Документация по структуре федеративного обучения Flower: https://flower.ai/docs/ Главы: 00:00 Вступление: ваши данные никогда не покидают телефон, но модель все еще может быть бэкдоры 00:35 Цели урока 01:11 Федеративное обучение, точное определение: цикл FedAvg 02:01 Реальный запуск федеративного обучения с бэкдорами на этой машине, часть 1: настройка и базовый уровень 02:37 Реальный запуск федеративного обучения с бэкдорами на этой машине, часть 2: показатели атаки 03:18 Угроза 1: отравление модели и бэкдоры 04:11 Угроза 2: утечка градиента и обновления 05:00 Угроза 3: клиенты Sybil и безбилетники 05:42 Защита 1: надежная агрегация, обрезка и шум 06:28 Защита 2: безопасная агрегация, аттестация и управление 07:28 Пятиэтапный рабочий процесс защитника 08:18 Проверка знаний 09:21 Резюме Курс CompTIA SecAI+ / Безопасность ИИ Плейлист:    • Плейлист   Образовательный контент. Тестируйте только те системы, которыми вы владеете или на тестирование которых у вас есть явное разрешение.