Не доверяйте промпту: установите защитные барьеры для вызовов инструментов вашего агента

Мой агент службы поддержки ознакомился с политикой возврата средств, и в итоге система вернула сумму, превышающую установленный лимит. С клиента дважды списали деньги за один заказ, по истечении 30-дневного срока, поэтому должна была вернуться только сумма за повторную оплату. Благодаря подробному описанию инструмента, Claude Haiku проверил заказ, счет-фактуру, клиента и политику возврата средств во всех 10 запусках, и в 3 из них всё равно вернули обе суммы — 498 долларов. Модель не небрежна. Она подчиняется клиенту, а у вашего бизнеса есть правила, которые не волнуют клиента. Поэтому в этом видео я добавил проверку в функцию dispatch — ту единственную функцию, через которую проходит каждый вызов инструмента перед выполнением, — и создал её в реальном времени на Python, слой за слоем: 1. Правила в коде: некорректные аргументы, заказ другого клиента, сумма, превышающая оплаченную, слишком поздно. Правило может только остановить вызов или передать его дальше, но никогда не одобрить. 2. Человек: каждый возврат и отмена, прошедшие проверку правил, ожидают человека, независимо от суммы. 3. Jev, небольшая модель принятия решений от TypeSafe AI: она позволяет выполнить обратимое изменение, отправляет его человеку, когда уверена, что оно не должно выполняться, или отправляет его наверх. 4. Claude Sonnet: она решает, в чем Jev не уверена, или отправляет это человеку. Что я измерила (3 октября 2026 г., мои собственные запуски, вымышленные данные службы поддержки; небольшие запуски, поэтому тестируйте на своих собственных вызовах) Описание инструментов, по 10 запусков для каждого: отмена отправленного заказа снизилась с 10 из 10 случаев несоответствия политике до 0 из 10; Двойной возврат средств уменьшился с 10 из 10 до 3 из 10. В соответствии с описанием, стоимость токенов: медианное значение для этого возврата увеличилось примерно с 4800 до 8700. Защита на 20 новых вызовах, 3 повторах, медианы (маршрутизация со вторым баром Джева — это воспроизведение этого запуска): правила обработаны 6, человек получил 4 возврата и отмены, Джев позволил 3 выполниться примерно за 0,1 с каждый и отправил 5 человеку, Соннет обработал 2 примерно за 2 с каждый. Небезопасные вызовы, которые были выполнены: 0. Безопасные вызовы остановлены: 0. Учетные данные для возврата средств ограничены 1000 долларов за вызов и 5000 долларов в день по всем учетным записям. Эти ограничения действуют только для этого примера: установите свои собственные ограничения для вашего бизнес-кейса. Где хранятся правила инструментов: на странице Anthropic «Определение инструментов» подробные описания названы «безусловно, наиболее важным фактором производительности инструмента» (см. 3 октября 2026 г.). В описании каждого инструмента указано, что следует искать в первую очередь и когда его можно использовать, а системная подсказка лишь предписывает следовать этим указаниям. Код (инструменты, четыре уровня, воронка и тесты): https://github.com/mani-aiml/agent-ha... Главное правило: записывайте свои правила в описания инструментов, чтобы модель знала, что вам нужно, и применяйте их в диспетчеризации, чтобы ни одна модель не принимала решение самостоятельно о перемещении денег. Все приведенные здесь цифры получены на основе моих собственных запусков в указанные выше даты. Ваши цифры будут выглядеть иначе, поэтому тестируйте на своем собственном агенте. В озвучке используется клонированный ИИ голос моего собственного агента. Часть плейлиста Agent Harness Engineering, посвященного навыкам, которые использует инженер по развертыванию агентов (Forward Deployed Engineer, FDE) при развертывании агентов для клиентов:    • Agent Harness Engineering for Forward Depl...   #AIAgents #AIGuardrails #AgentHarness #AIEngineering #ForwardDeployedEngineer 0:00 Двойной возврат средств и защита 2:24 Описание инструментов и диспетчеризация 6:54 Уровень 1: правила 9:26 Возвраты и отмены поступают к конкретному человеку 11:17 Уровень 2: Jev, небольшая модель принятия решений 15:24 Уровень 3: Sonnet 17:43 guard.py и воронка 20:16 Эмпирическое правило 21:05 Заключение