Чрезмерные полномочия (OWASP LLM06): AI-агент раскрывает данные клиентов + исправление на Python ...

Один фальшивый запрос в службу поддержки. Один ИИ-агент с инструментом для отправки электронных писем. И счет клиента попадает прямо в почтовый ящик злоумышленника. 😱 В этом видео мы создаем ИИ-агента службы поддержки клиентов с помощью двух реальных инструментов: lookup_invoice и send_email. Затем мы атакуем его вредоносным запросом, который просит агента отправить счет (с данными карты) на другой адрес электронной почты. В уязвимом режиме агент просто делает это. В защищенном режиме сам инструмент блокирует это. Это OWASP LLM06: Избыточная власть. У агента было больше полномочий, чем ему было нужно, и ничто не контролировало его действия. 🤖 Что мы создаём: • Агент LangGraph (через langchain create_agent) с циклом ReAct: LLM выбирает инструмент, инструмент запускается, результат возвращается, цикл повторяется. • Инструмент 1, lookup_invoice: возвращает сумму счета и последние 4 цифры карты. • Инструмент 2, send_email: отправляет электронное письмо на любой адрес. • Бэкенд FastAPI и пользовательский интерфейс Streamlit с уязвимым и защищённым режимами. 🧪 Атака: Заявка от клиента CUST-1001 просит агента отправить счет на billing-support@attacker-mail.com, потому что «наша финансовая команда сменила поставщика услуг». • Уязвимый режим: письмо отправляется злоумышленнику • Защищенный режим: send_email блокирует любой адрес, не соответствующий подтвержденному адресу электронной почты клиента, и показывает причину 🔍 AgentOps: каждый вызов инструмента, его аргументы и результат записываются в трассировку и отображаются в пользовательском интерфейсе, поэтому вы можете точно увидеть, когда агент пытался отправить письмо на неверный адрес. Мы также рассматриваем реальные инструменты для этого: AgentOps, LangSmith и Arize Phoenix. 🔐 Вы узнаете: • Что такое ИИ-агент и почему инструменты делают его использование рискованным • Что означает «чрезмерная самостоятельность» (OWASP LLM06) • Почему проверка безопасности должна находиться в коде инструмента, а не в решении LLM • Что такое AgentOps и как отслеживать каждый шаг, который делает агент 🧰 Технологический стек: Python, LangGraph, LangChain, Groq API (openai/gpt-oss-20b), FastAPI, Streamlit ⏱️ Разделы: 0:00:00 Часть 1 0:00:58 Часть 2 0:04:38 Часть 3 0:08:46 Часть 4 0:10:42 Часть 5 0:13:07 Часть 6 0:14:07 Часть 7 0:45:27 Часть 8 1:05:43 Часть 9 1:10:37 Часть 10 1:19:18 Часть 11 👩‍💻 Идеально подходит для: инженеров в области ИИ/машинного обучения, разработчиков на Python и всех, кто готовится к собеседованиям на должность инженера по ИИ или специалиста по безопасности ИИ. 💻 Бесплатный код (GitHub): https://github.com/dearnidhi/ai-secur... ⭐ Если вам это помогло, пожалуйста, поставьте звездочку репозиторию! 📺 Полный плейлист:    • AI Security Full Course | LLM Security, Pr...   #AIAgents #AISecurity #LangGraph #ExcessiveAgency #OWASP #LLMSecurity #AgentOps #Python #FastAPI #GenerativeAI #CyberSecurity #LLM