Как контролировать расходы AI-агентов с помощью MuleSoft Model Wallets
Mule Ace Academy
0:00 / 0:00
Как контролировать расходы AI-агентов с помощью MuleSoft Model Wallets
441 просмотр · 3 нед. назад
Mule Ace Academy
12,6 тыс. подписчиков
441 просмотр · 3 нед. назад
Один неуправляемый ИИ-агент может исчерпать ваш бюджет LLM, прежде чем кто-либо это заметит. В этом пошаговом руководстве я покажу, как настроить кошельки моделей MuleSoft для управления расходами ИИ в прокси-сервере моделей с помощью бюджетов в долларах или токенах.
Вы увидите полную настройку на платформе MuleSoft Anypoint, Omni Gateway, Okta и Postman — от настройки затрат GPT-5 Mini до генерации JWT, вызова прокси-сервера моделей и отслеживания использования в управлении затратами.
Что вы узнаете:
Настройка стоимости входных и выходных токенов для модели LLM
Создание кошелька модели для агента, приложения или команды
Установка ежедневных, еженедельных или ежемесячных бюджетов расходов/токенов
Настройка приложения Okta OIDC и пользовательского сервера авторизации
Добавление области действия model:invoke и необходимых утверждений JWT
Обновление политик ядра LLM Proxy и поиска кошелька модели
Применение проверки JWT на основе JWKS в правильном порядке политик
Генерация токена OAuth с использованием кода авторизации с PKCE
Вызов прокси-сервера модели с использованием токена bearer и x-client-id
Проверка потребления токенов и использования кошелька в управлении затратами
Важный вывод:
Кошелек модели контролирует расходы — он не предоставляет доступ к прокси-серверу модели. Используйте проверенные утверждения JWT и отдельные средства контроля авторизации. Контроль бюджета также может быть приблизительным, а долларовые лимиты зависят от правильно настроенных цен модели.
Официальные ресурсы
Документация по Model Wallet: https://docs.mulesoft.com/general/exp...
Примечания к выпуску MuleSoft Enhanced Experience: https://docs.mulesoft.com/release-not...
Анонс MuleSoft: https://blogs.mulesoft.com/news/from-...
Видео по теме — Настройка Okta в качестве внешнего поставщика идентификации: • Integrating Okta as External Idp with Anyp...
Если это руководство вам помогло, поделитесь им со своей командой MuleSoft и подпишитесь на Mule Ace Academy, чтобы получать больше практических занятий по Agent Fabric, Omni Gateway, MCP, безопасности API и управлению корпоративным ИИ.
Разделы:
00:00 Проблема чрезмерной стоимости ИИ
01:27 Что делают кошельки моделей MuleSoft
01:57 Предварительное условие: Настройка внешнего поставщика идентификации (IdP)
02:42 Открытие Anypoint Enhanced Experience
02:51 Настройка стоимости мини-моделей GPT-5
03:32 Создание кошелька модели
05:27 Создание приложения Okta OIDC
06:21 Настройка бюджета кошелька
07:27 Создание сервера авторизации Okta
08:02 Добавление области действия model:invoke
08:17 Создание политики доступа и правила
09:38 Получение метаданных Okta OAuth
10:02 Создание и развертывание прокси-сервера модели
11:21 Просмотр сгенерированных политик прокси
11:49 Обновление основной политики прокси-сервера LLM
12:20 Настройка политики поиска кошелька модели
14:31 Применение проверки JWT
15:59 Установка правильной политики Порядок выполнения
16:36 Тестирование защищенного Model Proxy с помощью Postman
17:04 Генерация токена с помощью PKCE
18:06 Вызов Model Proxy
18:49 Мониторинг использования в управлении затратами
19:17 Рекомендации по использованию Model Wallet
#MuleSoft #ModelWallet #OmniGateway