Перейти к содержимому

Как контролировать расходы AI-агентов с помощью MuleSoft Model Wallets

Mule Ace Academy

0:00 / 0:00

Как контролировать расходы AI-агентов с помощью MuleSoft Model Wallets

441 просмотр · 3 нед. назад
Mule Ace Academy
12,6 тыс. подписчиков
441 просмотр · 3 нед. назад
Один неуправляемый ИИ-агент может исчерпать ваш бюджет LLM, прежде чем кто-либо это заметит. В этом пошаговом руководстве я покажу, как настроить кошельки моделей MuleSoft для управления расходами ИИ в прокси-сервере моделей с помощью бюджетов в долларах или токенах. Вы увидите полную настройку на платформе MuleSoft Anypoint, Omni Gateway, Okta и Postman — от настройки затрат GPT-5 Mini до генерации JWT, вызова прокси-сервера моделей и отслеживания использования в управлении затратами. Что вы узнаете: Настройка стоимости входных и выходных токенов для модели LLM Создание кошелька модели для агента, приложения или команды Установка ежедневных, еженедельных или ежемесячных бюджетов расходов/токенов Настройка приложения Okta OIDC и пользовательского сервера авторизации Добавление области действия model:invoke и необходимых утверждений JWT Обновление политик ядра LLM Proxy и поиска кошелька модели Применение проверки JWT на основе JWKS в правильном порядке политик Генерация токена OAuth с использованием кода авторизации с PKCE Вызов прокси-сервера модели с использованием токена bearer и x-client-id Проверка потребления токенов и использования кошелька в управлении затратами Важный вывод: Кошелек модели контролирует расходы — он не предоставляет доступ к прокси-серверу модели. Используйте проверенные утверждения JWT и отдельные средства контроля авторизации. Контроль бюджета также может быть приблизительным, а долларовые лимиты зависят от правильно настроенных цен модели. Официальные ресурсы Документация по Model Wallet: https://docs.mulesoft.com/general/exp... Примечания к выпуску MuleSoft Enhanced Experience: https://docs.mulesoft.com/release-not... Анонс MuleSoft: https://blogs.mulesoft.com/news/from-... Видео по теме — Настройка Okta в качестве внешнего поставщика идентификации:    • Integrating Okta as External Idp with Anyp...   Если это руководство вам помогло, поделитесь им со своей командой MuleSoft и подпишитесь на Mule Ace Academy, чтобы получать больше практических занятий по Agent Fabric, Omni Gateway, MCP, безопасности API и управлению корпоративным ИИ. Разделы: 00:00 Проблема чрезмерной стоимости ИИ 01:27 Что делают кошельки моделей MuleSoft 01:57 Предварительное условие: Настройка внешнего поставщика идентификации (IdP) 02:42 Открытие Anypoint Enhanced Experience 02:51 Настройка стоимости мини-моделей GPT-5 03:32 Создание кошелька модели 05:27 Создание приложения Okta OIDC 06:21 Настройка бюджета кошелька 07:27 Создание сервера авторизации Okta 08:02 Добавление области действия model:invoke 08:17 Создание политики доступа и правила 09:38 Получение метаданных Okta OAuth 10:02 Создание и развертывание прокси-сервера модели 11:21 Просмотр сгенерированных политик прокси 11:49 Обновление основной политики прокси-сервера LLM 12:20 Настройка политики поиска кошелька модели 14:31 Применение проверки JWT 15:59 Установка правильной политики Порядок выполнения 16:36 Тестирование защищенного Model Proxy с помощью Postman 17:04 Генерация токена с помощью PKCE 18:06 Вызов Model Proxy 18:49 Мониторинг использования в управлении затратами 19:17 Рекомендации по использованию Model Wallet #MuleSoft #ModelWallet #OmniGateway