Безопасное применение ИИ в разработке

Как безопасно использовать ИИ в разработке? Какие риски создают AI-ассистенты и vibe-coding, как контролировать сгенерированный код и передаваемые моделям данные и какие проверки нужны перед выпуском собственной AI-системы в production? В эфире AM Live эксперты обсудили безопасную разработку с использованием искусственного интеллекта: AI-ассистентов в IDE, работу с репозиториями, внешними моделями, MCP-серверами и инструментами, а также контроль AI-generated code. Разобрали безопасность AI supply chain и защиту моделей, датасетов, весов, адаптеров, системных промптов, embeddings и RAG. Обсудили AIBOM, Model Registry, provenance AI-компонентов и проверки, которые необходимо добавить к существующему DevSecOps-конвейеру. Отдельно поговорили о security testing AI-систем перед релизом: автоматических проверках, AI Red Teaming, критериях допуска в production и изменениях модели, датасета, системного промпта или RAG, после которых необходимо повторное тестирование безопасности. Также разобрали безопасный rollback AI-систем и распределение ответственности между разработкой, Data Science, ML Engineering, AppSec, CISO и владельцем продукта. В эфире приняли участие: Модератор: Андрей Жуков, Faust Спикеры: ⚡ Михаил Черешнев, AppSec Solutions ⚡ Артур Хашаев, Группа компаний SolidLab ⚡ Дмитрий Шмойлов, Лаборатория Касперского ⚡ Михаил Кобик, Группа Астра Тайм-коды: 00:00:00 — Введение 00:03:36 — Обсуждение уязвимостей и ответственности 00:06:26 — Проблемы автоматизации и аудита 00:11:32 — Недетерминированность ИИ и новые угрозы 00:12:30 — Критический код и интеллектуальная собственность 00:14:25 — Утечка данных и уязвимости 00:15:23 — Риск-профиль компаний 00:20:50 — Проникновение ИИ в процессы разработки 00:23:44 — Проблемы на ранних этапах разработки 00:24:41 — Специфические артефакты ИИ 00:25:53 — Уязвимости разработчиков 00:26:53 — Правила и контроль 00:29:37 — Серый ИИ и осознание рисков 00:31:03 — Взаимодействие с безопасниками 00:34:41 — Контроль разработчиков и фронтирных моделей 00:38:22 — Обучение и ментальные модели 00:42:01 — Персонализация и риски 00:42:58 — Мультиагентская среда и контроль 00:46:40 — Риски самомодификации агентов 00:49:13 — Стратегии управления агентами 00:51:30 — Контроль окружения моделей 00:54:26 — Изоляция и мониторинг 00:59:30 — AI-фаерволы 01:04:16 — Проблемы внедрения ИИ 01:10:59 — Работа агентов 01:13:08 — Пример атаки на Microsoft 365 Copilot 01:14:49 — Уязвимости и инъекции 01:17:12 — Модель нарушителя 01:18:02 — Риски использования моделей ИИ 01:19:58 — Анализ рисков вокруг моделей 01:21:46 — Принципы безопасного использования ИИ 01:27:44 — Безопасность цепочки поставок 01:32:57 — Технологии и инвентаризация 01:37:19 — РБПО 01:40:12 — Ускорение пайплайнов с помощью ИИ 01:42:07 — Роль ИИ в безопасности 01:46:40 — Преимущества локальных моделей ИИ 01:50:44 — Оценка уязвимостей с помощью ИИ 01:52:52 — Статистика уязвимостей 01:55:28 — Процесс разработки и безопасность 02:02:24 — Будущее ИИ и безопасности 02:08:36 — Адаптация к изменениям 02:10:20 — Локальные модели и их демократизация 02:16:25 — Ошибки в безопасности 02:19:40 — Модель угроз 02:21:20 — Завершение эфира Календарь трансляций AM Live https://amlive.ru/ https://t.me/anti_malware https://vk.com/anti_malware https://www.anti-malware.ru/ По вопросам рекламы: sales@anti-malware.ru