Урок безопасности ИИ № 65: Атаки уклонения — объяснение для защитников

Ваш фишинговый фильтр с высокой степенью уверенности обнаруживает вредоносное электронное письмо. Злоумышленник немного меняет слова и отправляет его снова. Тот же фильтр пропускает его. Ничего не было взломано. В этом уроке объясняются атаки обхода на классификаторы ИИ: крошечные, преднамеренные возмущения во время тестирования, которые пересекают границу принятия решения и меняют уверенный вердикт, с реальным запуском атаки обхода на этой машине и пятиступенчатой ​​защитой, которую может использовать ваша команда. Цели: Определить атаки обхода и отличить их от атак отравления Объяснить геометрию подталкивания: границы принятия решений и градиенты Прочитать реальные результаты демонстрации в стиле FGSM с этой машины Назвать знаковые статьи: Szegedy et al. 2013 и Goodfellow et al. 2014 Определить, где обход защиты имеет значение: фильтры, биометрия, мошенничество, модерация Объяснить обход защиты методом «черного ящика»: переносимость и атаки на основе запросов Объяснить, почему защита сложна: стоимость, маскирование градиента, гонка вооружений, узкие доказательства Применить пятиступенчатый рабочий процесс защиты: моделирование угроз, оценка, усиление, мониторинг, проверка человеком Назвать опорные точки управления: NIST AI 100-2e2023, NIST AI RMF, MITRE ATLAS Источники: Szegedy et al., "Intriguing properties of neural networks" (arXiv 1312.6199): https://arxiv.org/abs/1312.6199 Goodfellow et al., "Explaining and Harnessing Adversarial Examples" (arXiv 1412.6572): https://arxiv.org/abs/1412.6572 NIST AI 100-2e2023, Таксономия и терминология состязательного машинного обучения: https://nvlpubs.nist.gov/nistpubs/ai/... MITRE ATLAS: https://atlas.mitre.org/ OWASP GenAI: https://genai.owasp.org/ Главы: 00:00 Холодное открытие: фишинговый фильтр, пропускающий атаку 00:43 Цели урока 01:11 Обход, точное определение: время тестирования, а не время обучения 02:12 Как работает «подталкивание»: границы, градиенты, один шаг 03:04 Реальный запуск обхода на этой машине: 7% «подталкивания» меняет вердикт 04:24 Где это важно: фильтры, биометрия, мошенничество, модерация 05:24 Вариант «черного ящика»: переносимость и запрос атаки 06:17 Почему защита сложна: стоимость, миражи, гонка вооружений, узкие доказательства 07:19 Пятиэтапный рабочий процесс защитника 08:29 Инструментарий и управление: таксономия NIST, AI RMF, MITRE ATLAS 09:26 Проверка знаний 10:22 Резюме Плейлист курса CompTIA SecAI+ / AI Security:    • Плейлист   Образовательный контент. Тестируйте только системы, которыми вы владеете или которые вам разрешено тестировать.