OSAI AI Red Teaming — Урок 17: Атаки через отравление RAG

Ответы вашего ассистента поступают из документов. Что происходит, когда незнакомец внедряет в эти документы предложения, предназначенные для обнаружения? Урок 17 курса OSAI AI Red Teaming — это практическое изучение отравления RAG и манипулирования поиском: как специально созданный текст выигрывает поиск по k лучшим похожим элементам, как встроенная инструкция незаметно внедряет результаты поиска в запрос и почему самое опасное отравление выглядит как более качественная документация. В нашей собственной синтетической лаборатории (чистый Python, без сети, без реальных моделей) девять внедренных документов злоумышленника превратились в 26 отравленных фрагментов и перехватили 8 из 8 целевых запросов на первом уровне. Встроенная директива императивного типа достигла 3-го уровня для запроса с ротацией ключей. Затем список разрешенных источников при обработке данных снизил процент отравленных запросов со 100% до 0% при сохранении легитимного поиска. ЦЕЛИ Деконструкция конвейера поиска RAG: разбиение на фрагменты, встраивание, поиск по топ-k Выполнение лабораторной работы по отравлению данных при поиске на собственном синтетическом корпусе (68 фрагментов) Сопоставление режимов сбоев с OWASP LLM04/LLM08, PoisonedRAG (концепция), MITRE ATLAS, NIST AI 100-2e Создание рабочего процесса защиты от утечки данных: списки разрешенных источников, хеширование фрагментов, метки происхождения, мониторинг поиска, проверка изменений, канареечные документы ИСТОЧНИКИ OffSec AI-300, публичная страница курса: https://www.offsec.com/courses/ai-300/ OWASP GenAI Top 10 для приложений LLM: https://genai.owasp.org/llm-top-10/ OWASP LLM04:2025 Отравление данных и моделей: https://genai.owasp.org/llmrisk/llm04... OWASP LLM08:2025 Слабости векторов и встраивания: https://genai.owasp.org/llmrisk/llm08... MITRE ATLAS: https://atlas.mitre.org/ NIST AI 100-2e, Adversarial Machine Learning: https://nvlpubs.nist.gov/nistpubs/ai/... Zou et al., PoisonedRAG (ссылка на концепцию, статистика не указана): https://arxiv.org/abs/2402.07867 РАЗДЕЛЫ 00:00 Атаки отравления RAG 01:12 Урок Цели 02:17 Авторизация в первую очередь 03:06 Как на самом деле работает извлечение RAG 04:07 Целенаправленное отравление при извлечении 05:20 Контрабанда инструкций через извлечение 06:11 Лабораторная работа: создание отравленного корпуса 07:00 Лабораторная работа: измерение целенаправленного отравления 07:58 Лабораторная работа: контрабанда и защита 09:07 Сопоставление атаки с фреймворками 10:24 Режимы отказа, позволяющие проникнуть отравлению 11:24 Рабочий процесс защиты происхождения 12:30 Проверка знаний 13:34 Резюме и следующий урок ПОЛНЫЙ ПЛЕЙЛИСТ КУРСА    • OSAI — AI Red Teaming Course   Независимая учебная программа, соответствующая областям компетенции OffSec AI-300/OSAI. Не разработана, не одобрена и не утверждена OffSec. Образовательный контент. Тестируйте только те системы, которые принадлежат вам или тестирование которых вам разрешено проводить.