Перейти к содержимому

Вашим агентам-ИИ пришлось заплатить 12 000 долларов из-за отсутствия возможности наблюдения (испр...

Manifold AI Learning

0:00 / 0:00

Вашим агентам-ИИ пришлось заплатить 12 000 долларов из-за отсутствия возможности наблюдения (испр...

887 просмотров · 7 месяцев назад
Manifold AI Learning
14,9 тыс. подписчиков
887 просмотров · 7 месяцев назад
🚀 Выходите за рамки демонстраций ИИ. Создавайте готовые к производству системы ИИ на основе агентов. Меня зовут Начикет. Я помогаю опытным специалистам в области технологий выйти за рамки демонстраций ИИ и создавать готовые к производству системы ИИ, не теряя при этом ценности своего существующего опыта. Если вы уже знакомы с основами и хотите глубже изучить, как на самом деле проектируются системы ИИ на основе агентов для производства, начните здесь: 🔥 Интенсивный курс по корпоративному мастерству в области ИИ на основе агентов Выйдите за рамки создания агентов, работающих в блокноте. Узнайте, как проектировать системы ИИ на основе агентов с помощью: • Проектирование вспомогательного оборудования для агентов • Состояние, контекст и память • Инструменты, MCP и шаблоны шлюзов • Надежность, повторные попытки, очереди и идемпотентность • Оценка ИИ и контроль качества для производства • Наблюдаемость и AgentOps • Моделирование безопасности и угроз • Архитектура развертывания и производства • Компромиссы в архитектуре корпоративного масштаба Системы выпускаются. Демонстрации — нет. 👉 https://learn.manifoldailearning.com/... 🎯 Готовитесь к собеседованиям по Agentic AI? Научитесь объяснять работу агентов, RAG, инструментов, памяти, оценок и компромиссов в производственной среде с той глубиной, которая ожидается от опытных инженеров. 👉 https://learn.manifoldailearning.com/... 🏗️ Хотите мыслить как архитектор ИИ? Изучите проектирование систем ИИ, архитектурные решения, надежность, компромиссы и принципы работы в производственной среде — чтобы вы могли объяснять не только то, что бы вы создали, но и почему. 👉 https://learn.manifoldailearning.com/... 🚀 Выйдите за рамки демонстраций ИИ. Внедрите готовую к производству систему Agentic AI. 🚀 Подпишитесь на Manifold AI Learning, чтобы получать больше материалов по Agentic AI, RAG, разработке ИИ и производственным системам ИИ. Ваш агент работал. Пользователи были довольны. Трафик был в норме. Если вы готовитесь к собеседованиям и хотите структурированные разборы, подобные этому, я разработал целенаправленное руководство для опытных инженеров. https://learn.manifoldailearning.com/... Получите бесплатные шаблоны для производственных задач, ресурсы и слайды - https://community.nachiketh.in Подготовка к работе в Agentic AI: https://kdp.amazon.com/amazon-dp-acti... (Доступно на всех маркетплейсах) Затем счет AWS показал 12 000 долларов. Ничего не было «сломано». В чем же настоящая проблема? 👉 У вас было логирование, а не мониторинг. В этом видео я подробно разбираю точную схему мониторинга, которую мы используем для систем Agentic AI — ту же самую, которая помогла нам обнаруживать резкий рост затрат, скачки задержки и скрытые сбои до того, как они переросли в отключения. Это не обучающее видео для начинающих. Это то, как производственные команды безопасно запускают агентов в масштабе. Что вы узнаете из этого видео 🔍 Ведение логов против наблюдаемости (почему большинство команд терпят неудачу) Почему вывод логов не объясняет скачки затрат Что на самом деле означает наблюдаемость для агентов ИИ Три уровня, которые большинство команд полностью упускают из виду 🧭 Уровень 1: Распределенная трассировка (LangSmith / LangFuse) Трассировка каждого вызова LLM, вызова инструмента, повторной попытки и сбоя Выявление медленных инструментов, бесконечных циклов и штормов повторных попыток Реальный производственный пример: задержка P95 снизилась с 45 с до 3 с 📊 Уровень 2: Метрики (Prometheus + Grafana) Правильное отслеживание задержки P50 / P95 / P99 Мониторинг использования токенов и стоимости запроса Выявление ошибок резервного копирования модели до того, как они приведут к потере средств 📜 Уровень 3: Структурированные логи (CloudWatch / Loki / Datadog) Сбои запросов по пользователям, инструмент или идентификатор запроса Отладка производственных проблем за минуты, а не часы Почему «выводы на печать» бесполезны в производственной среде 🚨 Уровень 4: Оповещения и реагирование на инциденты Работающие оповещения о затратах Оповещения о задержке и частоте ошибок, которые разбудят вас только тогда, когда это необходимо Реальный инцидент PagerDuty в 3 часа ночи и как он был решен за 20 минут 💸 Распределение затрат (это настоящий ключ к решению) Затраты по моделям (GPT-4 против GPT-3.5) Затраты по пользователям, функциям и инструментам Как одно изменение панели мониторинга превратило убытки в прибыль Главный вывод Вы не можете управлять тем, чего не видите. Если ваш агент работает в производственной среде без: Трассировки Метрики Журналов Оповещений Распределения затрат Вы работаете вслепую. И когда что-то ломается, уже слишком поздно. 👨🏫 Хотите полную реализацию в производственной среде? В рамках программы Agentic AI Enterprise Bootcamp мы обучаем следующему комплексн...