Azure APIM в качестве AI-шлюза | Безопасность, контроль расходов, наблюдаемость и кэширование

Освойте Azure API Management в качестве шлюза для ИИ, чтобы безопасно маршрутизировать, отслеживать и оптимизировать трафик LLM вашего предприятия. Вот что вы узнаете: 🔥 📌 Корпоративная маршрутизация и интеграция с Foundry: как создать безопасную многоуровневую архитектуру и безопасно предоставлять доступ к моделям Microsoft Foundry через централизованный API-шлюз. 📌 Безопасность и защита контента: как защитить ваши конечные точки генеративного ИИ и блокировать вредоносные входные данные с помощью собственных политик Azure APIM (например, llm-content-safety). 📌 Контроль затрат и семантическое кэширование: как значительно снизить затраты и задержку API за счет внедрения кэширования запросов (llm-semantic-cache-lookup, llm-semantic-cache-store) и обеспечения строгих ограничений на токены (llm-token-limit). 📌 Мониторинг и наблюдаемость: как получить полную информацию о ваших рабочих нагрузках ИИ путем отслеживания, регистрации и анализа шаблонов трафика в реальном времени (llm-emit-token-metric). 📌 Шаблон проектирования? Функция Foundry? Новый портал? Как правильно классифицировать шлюз ИИ и понять его точную роль в вашей архитектуре Microsoft ИИ. ----- 0:00 Введение 1:43 Маршрутизация корпоративного трафика 4:33 Предоставление доступа к моделям Foundry в Azure APIM 12:49 Защита трафика ИИ с помощью Content Safety в Azure APIM 17:45 Мониторинг трафика ИИ в Azure APIM 19:58 Кэширование запросов в Azure APIM (семантический кэш) 28:23 Контроль затрат на ИИ в Azure APIM 32:39 Шлюз ИИ в Microsoft Foundry 40:38 Шаблон проектирования? Функция Foundry? Новый портал? 42:53 Аутро ----- Следуй за мной 👉 🌐 Блог: https://deployedinazure.com 💻 GitHub: https://github.com/deployed-in-azure. 🔗 LinkedIn:   / deployed-in-azure  .