Наблюдаемость ИИ: что может пойти не так?

Присоединяйтесь к нам, чтобы узнать от Джона Марка Тройера и Ракеша Гупты, что на самом деле означает наблюдаемость ИИ после того, как агенты покидают демоверсию и переходят в рабочую среду, и почему старые методы мониторинга больше не работают. Джон Марк и Ракеш расскажут, почему ошибки и задержки — это только начало для агентов, как качество стало гораздо сложнее измерять, когда боты перешли от ответов на вопросы к автономным действиям, и почему токенизированные затраты создают новую сложную экономическую проблему для инженерных команд. Вы узнаете разницу между онлайн- и офлайн-оценками, почему появилась новая инженерная роль, предназначенная именно для создания тестовых платформ для агентов, как данные трассировки работают по-другому, когда каждый запрос — это отдельный запрос, и что делают команды, чтобы выявлять внедрение запросов и другие специфические для ИИ сбои до того, как они превратятся в дорогостоящие ошибки. Временные метки 0:00 Приветствие и введение 3:20 Полное раскрытие информации — Observe, Snowflake и как начался этот разговор 7:07 От проблем разработчиков до боссов боссов — расходы выходят из-под контроля 8:29 Что на самом деле измеряется — ошибки, задержка, качество и стоимость 10:30 Проблема фишек казино — запутанные модели ценообразования токенов 13:47 Определение качества, когда сама задача неясна 18:41 Новая роль — инженеры, которые просто создают тестовые среды 22:00 Недетерминизм и почему тестовые агенты дороги 32:10 Данные трассировки, вызовы инструментов и что на самом деле видят инструменты наблюдения 55:08 Внедрение подсказок, символы нулевой ширины и реальные сбои Как найти Джона Марк:   / johnmarktroyer   Как найти Ракеша:   / rg0   Ссылки из шоу: __________ РАСКРЫТИЕ ИНФОРМАЦИИ ❤ Это описание содержит партнерские ссылки, которые позволяют вам найти товары, упомянутые в этом видео, и поддержать канал без каких-либо затрат с вашей стороны. vBrownBag участвует в партнерской программе Amazon Services LLC Associates Program, партнерской рекламной программе, разработанной для того, чтобы сайты могли зарабатывать рекламные сборы, размещая рекламу и ссылки на www.amazon.com. Спасибо за вашу поддержку! __________ О #vBrownBag ПОДПИСЫВАЙТЕСЬ!    / @vbrownbag   Социальные сети: LinkedIn:   / vbrownbag   Bluesky: https://bsky.app/profile/vbrownbag.com Twitter:   / vbrownbag   Facebook:   / vbrownbag   Apple Podcasts: http://bit.ly/vbrownbagitunes https://vBrownBag.com — это сообщество людей, которые верят в помощь другим. В частности, мы работаем в сфере ИТ-инфраструктуры и помогаем другим людям в ИТ-индустрии улучшить свою карьеру посредством образования. Наша основная деятельность — создание подкаста vBrownBag. vBrownBag также участвует в глобальных конференциях, где проводит TechTalks и театральные сессии. О подкастах vBrownBag Команда vBrownBag выпускает подкасты, в которых участники сообщества рассказывают о темах, полезных для других членов сообщества. Некоторые серии подкастов направлены на помощь в получении сертификатов. Другие подкасты помогают участникам сообщества изучить совершенно новые области знаний, такие как хранение данных, автоматизация, программирование и многое другое! Подкаст выходит еженедельно с 2010 года. vBrownBag TechTalks Команда vBrownBag обожает IT-конференции — единственное место, где мы действительно видимся друг с другом, с замечательными людьми, которые выступают с докладами, и с участниками сообщества, которые слушают подкаст. Конференции также являются отличным местом для создания дополнительного контента для обучения сообщества. Подробнее о vBrownBag: https://vbrownbag.com/brownbags/what-... Атрибуция музыки для вступления: Исполнитель - MaxKoMusic