Один отравленный артефакт может взломать ваш ИИ: насколько устойчивы ваши процессы безопасности с...

Ченг-Линь Ян (CyCraft AI Lab, Тайвань, TW), Йен-Шан (Лили) Чен (CyCraft AI Lab, TW) По мере того, как центры оперативного реагирования на инциденты (SOC), группы реагирования на компьютерные инциденты (CSIRT) и группы реагирования на инциденты внедряют системы LLM и RAG для сортировки оповещений, расследования и автоматизации, появляется новая поверхность атаки: манипуляция на уровне данных в артефактах, обрабатываемых этими системами. В этой сессии показано, как отдельный созданный злоумышленником элемент — например, фишинговое электронное письмо, стенограмма чата, заметка об инциденте или внешний отчет — может быть отформатирован таким образом, чтобы модели встраивания постоянно выявляли приманки для извлечения данных, а генеративные LLM обрабатывали вредоносные инструкции. Вместо того чтобы использовать внутренние механизмы модели, злоумышленники просто изменяют структуру документа, чтобы управлять тем, что система извлекает и что она выдает. Мы проведем живую, комплексную демонстрацию того, как подобный артефакт влияет на поиск информации, ее генерацию и, в конечном итоге, изменяет представление аналитика о ходе расследования. Сессия завершится обсуждением практических и недорогих мер защиты, которые центры оперативного управления безопасностью (SOC) и группы реагирования на киберугрозы (CSIRT) могут немедленно развернуть для повышения безопасности рабочих процессов, дополненных ИИ, и выявления враждебного влияния до того, как оно достигнет лиц, принимающих решения. -- Доктор Ян Ченг-Линь, директор по анализу данных в CyCraft Technology, имеет докторскую степень по искусственному интеллекту, полученную в Эдинбургском университете. Его специализация – вопросы безопасности в приложениях ИИ. Его работы были представлены на престижных академических конференциях, таких как EMNLP и NeurIPS, а его экспертные знания были продемонстрированы на различных конференциях по кибербезопасности, включая FIRST CTI Summit, Black Hat USA, Code Blue Japan, HITCon Enterprise и SINCON. Йен-Шан (Лили) Чен — специалист по анализу данных в компании CyCraft Technology, где в настоящее время занимается исследованием потенциальных уязвимостей в системах генерации с дополненной реальностью (Retrieval-Augmented Generation, RAG) и разработкой методов их оценки. Лили ранее выступала на крупных конференциях по кибербезопасности, таких как Code Blue Japan и SINCON, а также опубликовала свои работы на известной конференции ACL.