Observability в LLM: как анализировать поведение моделей с помощью Langfuse / LLM Driven Development

Вы узнаете: На уроке вы познакомитесь с принципами наблюдаемости (observability) в системах, использующих большие языковые модели. Мы разберёмся, как отслеживать поведение LLM-агентов, выявлять ошибки генерации и управлять качеством ответов. Особое внимание уделим Langfuse — инструменту, который позволяет собирать и анализировать execution traces: от запроса пользователя до ответа модели, включая все промежуточные шаги (retrieval, вызовы функций, постобработка). Вы узнаете, как интегрировать Langfuse в свой проект, визуализировать работу LLM, собирать метрики и улучшать пайплайны генерации. Кому подходит этот урок: Разработчикам и ML-инженерам, внедряющим LLM в продукты и нуждающимся в контроле и прозрачности Тем, кто строит сложные пайплайны с LangChain, LlamaIndex или собственными агентами Всем, кто хочет понимать, что именно делает LLM и почему в реальном продакшене Результаты урока: Вы поймёте, как устроены execution traces, как использовать их для отладки и анализа LLM-приложений, и почему observability — это не опция, а обязательный компонент зрелой AI-системы. «LLM Driven Development» - https://otus.pw/sIuG/ Преподаватель: Владимир Елфимов - Team Lead Data Engineer Пройдите опрос по итогам мероприятия - https://otus.pw/BjxA/ Следите за новостями проекта: Telegram: https://t.me/Otusjava ВКонтакте: https://otus.pw/850t LinkedIn: https://otus.pw/yQwQ/ Хабр: https://otus.pw/S0nM/