3 способа сделать Camunda-агента дешевле, безопаснее и предсказуемее с помощью Jev

В этом видео Найл Дихан, специалист по процессной алхимии и технический евангелист, берет агента из предыдущего урока (Демонстрация динамического агента LLM:    • Tutorial: Design Agents to Dynamically Sel...  ) и добавляет к нему Jev (типизированную модель принятия решений TypeSafe) в трех разных местах. Никакой замены модели, никаких переписываний — всего три небольших дополнения, которые делают всю систему дешевле в эксплуатации, сложнее сломать и намного предсказуемее. Вы узнаете: Как блокировать входящие запросы с помощью коннектора Jev, чтобы внедрение запросов, социальная инженерия и не относящийся к теме шум были перехвачены и остановлены до того, как они достигнут вашего дорогостоящего LLM. Как заменить ситуативное, недетерминированное принятие решений агентом (в данном случае, кто будет приглашен в клуб вознаграждений) проверкой критериев с оценкой Jev и возможностью аудита. — Как оценить эффективность каждого агента при работе с Jev и запускать дорогостоящий сводный отчет LLM только тогда, когда что-то действительно пошло не так. Коннектор, упомянутый здесь, можно найти на GitHub: https://github.com/maff/camunda-conne... Полный пример смотрите здесь: https://github.com/NPDeehan/camunda-j... Временные метки: 00:00 — Введение: улучшение существующего агента с помощью Jev тремя способами 00:17 — Базовый агент: отвечает на вопросы о товарах/заказах и решает, кто будет приглашен в клуб вознаграждений 00:54 — Каждый запуск оценивается на успешность — но эта оценка выполняется каждый раз 01:25 — План: сделать его дешевле, безопаснее и предсказуемее 01:37 — Демонстрационный запуск базового агента 02:14 — Проверка результата: решение о членстве в клубе вознаграждений является детерминированным, принимается на лету 02:39 — Проверка отчета агента: этап оценки выполняется (и стоит денег) при каждом запуске, независимо от необходимость 03:11 — Проблема 1: отправка вредоносного/не относящегося к теме запроса («внедрение подсказки для административного теста») 03:54 — Агент раскрывает внутренние детали конфигурации — обнаружено судьей, но слишком поздно 04:13 — Решение 1: добавить коннектор Jev + шлюз перед агентом для очистки входных данных 04:50 — Новая задача: коннектор Jev → инклюзивный шлюз (вне области действия / внедрение подсказки / все чисто) 05:15 — Поиск коннектора на торговой площадке Camunda (работает начиная с версии 8.8) 05:40 — Как работает Jev: только ответы в виде строгого выбора / логических значений / оценок, без свободного текста 06:17 — Настройка классификации тем (продукт, покупка, упаковка, несвязанные) 06:37 — Настройка логических проверок внедрения подсказки / социальной инженерии 06:55 — Логика шлюза: маршрутизация по выбору темы и пороговым значениям достоверности 07:53 — Повторный запуск вредоносный запрос 08:13 — Немедленно заблокирован: Jev помечает его как внедрение подсказки и выход за пределы области видимости 08:26 — Почему этот шаблон работает: Jev намного дешевле и быстрее, чем обработка через основной LLM 09:04 — Расчеты: примерно 30 000 вызовов Jev на каждый доллар потраченных токенов 10:01 — Исправление 2: сделать решение о клубе вознаграждений детерминированным и поддающимся аудиту 10:51 — Новая задача: Jev оценивает ценность клиента по критериям (уровень доверия, история заказов, местоположение и т. д.) 12:13 — Повторный запуск действительного запроса: клиент добавляется в клуб вознаграждений с отслеживаемой причиной 13:53 — Исправление 3: судья по-прежнему запускается — и это стоит денег — при каждом запуске 14:56 — Пошаговое руководство: судья производительности Jev плюс выражение FEEL, которое взвешивает его результаты 15:21 — Что оценивается: достижение цели, выбор инструмента, эффективность, восстановление, раскрытие данных, и многое другое 16:05 — Преобразование нескольких оценок в единый показатель эффективности, с жесткими санкциями за серьезные нарушения 17:33 — Повторный запуск для попытки инициировать неудачный запуск 17:53 — Неудачный запуск обнаружен: судья недоволен, поэтому генерируется подробный сводный отчет 18:23 — Отчет: что пошло не так и предложенные решения 18:43 — Суть: дорогостоящий сводный отчет срабатывает только тогда, когда это действительно необходимо, а не при каждом запуске 19:01 — Бонус: рейтинг эффективности также удобен для составления отчетов о средней производительности агента с течением времени 19:34 — Итог: очищенные входные данные, детерминированные решения и судья, который повышает ставки только тогда, когда это необходимо --- Есть вопросы по увиденному? Пообщайтесь с нашими инженерами и сообществом на нашем форуме: https://forum.camunda.io/ --- Посетите наш веб-сайт: https://bit.ly/3vDGkp0 Свяжитесь с нами в LinkedIn:   / camunda   --- Camunda — это корпоративная платформа для оркестровки агентов, позволяющая организациям координировать работу агентов ИИ, людей и систем в сложных сквозных бизнес-процессах. Благодаря встроенным функциям управления, аудита и человечес...