Red teaming для ИИ-агентов перед запуском

Ограничительные меры — это как ремень безопасности, то, что должно удерживать, если что-то пойдет не так. Оценка задает вопрос, дает ли агент хорошие, точные и обоснованные ответы. «Красная команда» — это совершенно другой вопрос: можно ли заставить агента работать неправильно? На этом занятии мы перейдем от подхода «работает ли этот агент» к подходу «могу ли я его сломать» — преднамеренной атаке на собственного агента до того, как это сделает за вас реальный пользователь или реальный злоумышленник. Мы рассмотрим ключевые категории состязательного тестирования: взлом системы, внедрение подсказок, попытки утечки данных, обход политик и злоупотребление ролями. Мы перейдем к конкретным примерам — например, к инструкции, скрытой в белом тексте PDF-файла, невидимой для человека-рецензента, но не для модели, обрабатывающей его. Мы также вернемся к ограничительным мерам: ошибка «красной команды» — это не просто запись в журнале, она указывает непосредственно на конкретное правило ограничительной меры, которое должно было ее обнаружить, превращая каждую ошибку в реальное исправление политики. Мы расскажем, как платформа Ejento была протестирована на более чем 20 000 угроз, с автоматизированными запусками команды «красных» на каждом развертывании, а не только один раз перед запуском, охватывающими шесть категорий рисков OWASP LLM «из коробки». Мы поделимся своим опытом и ответим на вопросы аудитории. *Что вы узнаете* Почему тестирование на проникновение (red teaming) принципиально отличается от проверки безопасности или оценки — и почему вам нужны все три Ключевые категории тестирования с использованием угроз: взлом системы (jailbreak), внедрение запросов, утечка данных, обход политик и злоупотребление ролями Чем тестирование на проникновение с использованием LLM отличается от традиционного тестирования на проникновение — это поверхность атаки в диалоговом режиме, а не уязвимость системы Почему автоматизированные запуски тестирования на проникновение должны происходить при каждом развертывании, а не в виде разового отчета перед запуском Как неудача тестирования на проникновение напрямую связана с конкретным правилом проверки безопасности, замыкая цикл между обнаружением уязвимости и ее устранением Возможность просмотра панели мониторинга тестирования на проникновение в режиме реального времени — показатели блокировки, разбивка по категориям атак и детальный анализ конкретного взлома системы — внутри платформы Ejento