Взлом ИИ: Bug Bounty Edition | DEF CON 34 | Воркшоп BBV с NahamSec

----------------------------------------------------------------------- Свяжитесь с нами в социальных сетях:   / bugbountydefcon     / bugbountyvillage     / bugbountydefcon     / bugbountydefcon   ---- Заявки на спонсорство и волонтерство: https://www.bugbountydefcon.com ---------------------------------------------------------------------- Системы ИИ-агентов содержат старые веб-ошибки в новой оболочке. Чем раньше вы это обнаружите, тем быстрее получите оплату. Если ИИ не может посчитать количество букв «р» в слове «клубника», у всех нас есть шанс. В этом практическом руководстве от @BugBountyVillage Бен Садегипур (NahamSec) и Камерон Беттридж (Clovis Mint) показывают, как охотникам за багами следует переосмыслить свою методологию, учитывая, что поверхность атаки часто будет выражаться в подсказках и инструментах, а не в детерминированных операторах if-else и REST/GraphQL-конечных точках. Мастер-класс по CTF-заданиям https://app.hackinghub.io/hubs/ai-hac... Вы увидите... 🪲 Разбор 3 из 8 бесплатных CTF-заданий по взлому ИИ в прямом эфире: • Как заставить ИИ раскрыть секреты из собственной системной подсказки • Как использовать инструменты агента для осуществления IDOR (Indirect Response) • Как внедрить подсказку косвенно, когда атака скрывается в данных, которые читает агент где каждое задание соответствует реальному багу, за который им заплатили в прошлом году. 🪲 Как моделировать угрозы для агентного приложения: от инструментов и разрешений до наиболее распространенных методов защиты 🪲 Как максимизировать ваше влияние на отчеты об ошибках, связанных с ИИ (и доказать это специалистам по сортировке) 🪲 Внедрение подсказки от NahamSec: пользователь с низкими привилегиями, которому он мог редактировать внутренние документы. Он внедрил в них скрытые инструкции, отравил базу знаний ИИ и ждал, пока агент с более высокими привилегиями прочитает их и выполнит за него работу. Хранимая XSS-атака, только жертвой является агент ИИ. 🪲 Финал: Кловис Минт рассказывает, как он, будучи новичком в сфере поиска уязвимостей, пришел на мероприятие по хакингу и получил 90 000 долларов. ---------------------------------------------------------------------- Спикеры Бен Садегипур @NahamSec Github: https://github.com/nahamsec X: https://x.com/NahamSec Instagram: instagram.com/nahamsec Discord:   / discord   Youtube:    / nahamsec   Камерон Беттридж @ClovisMint Github: https://github.com/BettridgeKameron X: https://x.com/ClovisMint LinkedIn:   / kbettridge   Youtube:    / clovismint   Упомянутые организации HackingHub Веб-сайт: https://www.hackinghub.io X: https://x.com/hackinghub_io Instagram:   / hackinghub_io   Discord:   / discord   Команда BASI 6 Pliny's X: https://x.com/elder_plinius Github: https://github.com/BASI-LABS Discord:   / discord   ---------------------------------------------------------------------- Разделы 0:00 Приветствия 0:39 Кто я 2:31 Повестка дня 3:05 Информация о лаборатории / слайды 3:38 Что такое LLM 4:09 LLM видят данные и инструкции в одном месте 4:31 Анатомия агентной системы 5:13 Инструменты — золотая жила для поиска ошибок 6:04 Ошибки инструментов = ошибки API 6:29 Внедрение подсказок против взлома (jailbreaking) 6:48 Безопасность ИИ против защиты ИИ (и почему охотники за ошибками должны знать разницу) 8:08 Внедрение подсказок неизбежно 8:45 Аналогия с автомобильным замком (безопасность модели по-прежнему полезна) 9:13 Почему внедрение подсказок невозможно остановить 10:12 Что такое ограничители (guardrails) 11:02 Прямое и косвенное внедрение подсказок 12:09 Разрешения: как узнать, что ваша ошибка достоверна 13:03 Влияние: кому на самом деле вредит ваша ошибка? 13:16 Примечание к решениям CTF 13:58 Более высокий процент успеха → более высокое вознаграждение 14:18 Задание CTF 1: Раскрытие секретов 14:40 Подсказка к заданию CTF 1 14:53 Пример решения задачи «Раскрытие секретов» 15:50 Задание CTF 2: Агентные LLM 16:18 Пример решения задачи «Агентные LLM» 17:05 Совет: Делайте что угодно, главное — будьте последовательны 17:31 Задание CTF 3: Непрямое внедрение подсказок 17:44 Пример решения задачи «Непрямое внедрение подсказок» 19:10 Пример решения задачи «Непрямое внедрение подсказок» 2 19:25 Совет: Упоминание инструментов делает вас более убедительным для ИИ! 20:09 Утечка сочной системной подсказки с помощью синонимов 📚 22:25 Фиксация на Markdown и ошибки новичков с блокировкой (2 сложных урока) 23:20 Прямая инъекция подсказки от NahamSec 25:40 Ключевые выводы NahamSec 25:58 Косвенная инъекция подсказки (высокой степени опасности) от NahamSec 26:09 Где люди побеждают ИИ в хакинге 28:58 Ключевые выводы Clovis Mint 29:10 Совет: Приоритет — выяснить, может ли система отправлять сетевые запросы 29:46 Совет: Используйте «с...