Я пытался взломать ИИ-агента за 300 000 долларов (Вот КАК вы можете сделать то же самое!)

Взлом ИИ — новый рубеж для киберпреступников. Узнайте, как использовать уязвимости LLM в конкурсе с призовым фондом в 300 000 долларов для совершения непредусмотренных действий. Крупные технологические компании, такие как Anthropic, OpenAI, Google DeepMind и Meta, в настоящее время поддерживают конкурс, направленный на проверку пределов возможностей своих систем. В этом обзоре объясняется, как участники используют внедрение подсказок для обхода фильтров безопасности. Вам не нужно быть специалистом по безопасности, чтобы понять механику этих уязвимостей, даже если вы только что экспериментировали с тем, чтобы заставить ИИ отвечать на вопросы с ограниченным доступом. Отказ от ответственности: Это видео спонсируется компанией Gray Swan. Оно предназначено только для образовательных целей: каждая атака в конкурсе выполняется в специально созданных для этого песочницах, поэтому используйте полученные знания ответственно и только на системах, которыми вы владеете или на тестирование которых у вас есть разрешение. Присоединяйтесь к Indirect Prompt Injection: Black (бесплатно): https://app.grayswan.ai/arena/challen... (Та же ссылка находится в закрепленном комментарии.) Напишите "telegram" в комментариях ниже, и я вышлю вам ссылку на группу. РАЗДЕЛЫ 0:00 - Взлом ИИ-агента без отправки ему сообщения 1:33 - Что такое непрямая инъекция подсказок (OWASP LLM01) 2:50 - Внутри конкурса Indirect Prompt Injection Black с призовым фондом в 300 000 долларов 4:08 - 1,8 миллиона атак: непрямая инъекция подсказок превосходит прямую 5:09 - Что показали 272 000 атак на 13 передовых моделей 6:07 - Тест гаражных ворот: ipi-arena-bench в терминале 7:06 - Как это остановить: смертельная триада и правило двух агентов 8:14 - Как присоединиться к конкурсу по тестированию ИИ на красный цвет с призовым фондом в 300 000 долларов 9:05 - Проверьте своего собственного ИИ-агента Правила конкурса от Gray Swan, чтобы никто не был дисквалифицирован: один аккаунт на человека; каждая атака отправляется вручную (использование ИИ для помощи в написании допустимо, но у некоторых поставщиков ИИ есть свои правила относительно работы с джейлбрейком); Запрещено делиться рабочими атаками где-либо до истечения 30 дней после окончания конкурса; в рамках конкурса рассматриваются только цели. Терминал показывает реальный запуск ipi-arena-bench; в этом видео нигде не появляется рабочий текст атаки. ИСТОЧНИКИ Gray Swan Arena Indirect Prompt Injection: Black challenge (запущен 15 октября 2026 г.): https://app.grayswan.ai/arena/challen... Присоединиться к конкурсу: https://app.grayswan.ai/arena UK AISI x Gray Swan Agent Red-Teaming Challenge: Результаты, 9 мая 2025 г.: https://www.grayswan.ai/news/uk-aisi-... Ваш ИИ-агент может быть скомпрометирован. Вы никогда об этом не узнаете. (Gray Swan), 18 марта 2026 г.: https://www.grayswan.ai/blog/your-ai-... Исследования Zou et al., Проблемы безопасности при развертывании агентов ИИ: выводы из крупномасштабного публичного конкурса, 28 июля 2025 г.: https://arxiv.org/abs/2507.20526 Dziemian et al., Насколько уязвимы агенты ИИ к непрямым внедрениям подсказок? Результаты крупномасштабного публичного конкурса, 16 марта 2026 г.: https://arxiv.org/abs/2603.15714 NIST CAISI, Анализ безопасности агентов ИИ на основе результатов крупномасштабного конкурса по борьбе с угрозами, 23 марта 2026 г.: https://www.nist.gov/blogs/caisi-rese... Грешейк и др., Не то, на что вы подписались (непрямая инъекция подсказок), 23 февраля 2023 г.: https://arxiv.org/abs/2302.12173 Защита OWASP Top 10 для приложений LLM, LLM01:2025 Инъекция подсказок (издание 2025 года, ноябрь 2024 г.): https://genai.owasp.org/llmrisk/llm01... Саймон Уиллисон, Смертельная тройка для агентов ИИ, 16 июня 2025 г.: https://simonwillison.net/2025/Jun/16... Meta, Правило двух агентов: практический подход к безопасности агентов ИИ, 31 октября 2025 г.: https://ai.meta.com/blog/practical-ai... Показанный инструмент: ipi-arena-bench 0.1.0, открытая среда для соревнований (MIT, март 2026 г.): https://github.com/GraySwanAI/ipi_are... Мы исследуем реальные риски, связанные с безопасностью ИИ, включая потенциальную утечку данных и опасность предоставления моделям доступа к ненадежному контенту. Анализируя методы, использованные в этом конкурсе с призовым фондом в 300 000 долларов, вы получите более ясное представление о том, как взламываются эти агенты и как выглядит будущее кибербезопасности. Подпишитесь на еженедельные обзоры проектов по кибербезопасности и открытому исходному коду. Какие еще уязвимости ИИ мне следует протестировать в следующий раз? #top #new #trending #viral #2026 #promptinjection #aisecurity #cybersecurity