Урок по безопасности ИИ №45: Объясняем Many-Shot Jailbreak для команд

Урок 45 по безопасности ИИ: многократный взлом превращает главное преимущество модели — обучение на примерах — в оружие. Собственные исследователи Anthropic опубликовали описание атаки в апреле 2024 года: создать длинный диалог из пар вопросов и ответов, демонстрирующий, как помощник выполняет вредоносные запросы, добавить его к реальному запросу и позволить контекстному обучению сделать все остальное. Никаких странных токенов, никаких скрытых инструкций, только объем данных. В этом уроке рассматривается, почему длинные контекстные окна изменили модель угрозы, точный рецепт, задокументированный исследователями (модель, основанная только на полезной информации, тысячи перемешанных демонстраций, одна большая подсказка), живая симуляция, измеряющая, как сфабрикованная история доминирует в контексте, режимы сбоев, которые повторяют команды, и защитный рабочий процесс, построенный на основе элементов управления OWASP, написанных специально для этой атаки. ЦЕЛИ Объяснить, как более длинные контекстные окна создали поверхность атаки с множеством примеров Описать механизм обучения в контексте, который используется в атаке Изложить рецепт исследователей: модель, ориентированная только на полезные данные, сфабрикованные демонстрации, гигантская подсказка Интерпретировать демонстрацию: сфабрикованная история, составляющая долю контекста от 8 до 256 примеров Перечислить четыре режима отказа: уверенность в списке заблокированных фраз, ограничения на количество повторений, проверка только входных данных, доверие к истории Применить защитный рабочий процесс: OWASP AISVS 2.1.5, выходные классификаторы, усиление обучения, мониторинг контекста РАЗДЕЛЫ 00:00 Вступление и цели 01:15 Взрыв контекста 02:14 Рецепт атаки 03:10 Раскрыто ответственно 03:55 Живая демонстрация: создание подсказки 04:31 Почему это масштабируемо 05:18 Режимы отказа 05:54 Защитный рабочий процесс 06:51 Проверка знаний 07:34 Краткое содержание ИСТОЧНИКИ Anthropic, «Многократный взлом джейлбрейка» (апрель 2024 г.): https://www.anthropic.com/research/ma... Краткое описание метода (Hugging Face): https://huggingface.co/blog/vladbogo/... Информация о раскрытии данных (TechCrunch): https://techcrunch.com/2024/04/02/ant... OWASP AISVS control 2.1.5 (защита от многократных взломов джейлбрейка): https://github.com/OWASP/AISVS/pull/633 Полный плейлист курса:    • Плейлист   Образовательный контент. Тестируйте только те системы, которые принадлежат вам или тестирование которых вам разрешено проводить.