Наблюдаемость и оценка эффективности агентов ИИ: простой анализ.

— Вы не знаете, что будут делать ваши агенты, пока не запустите их — это означает, что наблюдаемость агентов отличается и важнее, чем наблюдаемость программного обеспечения. — Агенты часто выполняют сложные, открытые задачи, а это значит, что их оценка отличается от оценки программного обеспечения. — Поскольку трассировки документируют, где проявляется поведение агента, они обеспечивают оценку множеством способов. Когда что-то идет не так в традиционном программном обеспечении, вы знаете, что делать: проверить журналы ошибок, посмотреть трассировку стека, найти строку кода, которая привела к ошибке. Но агенты ИИ изменили то, что мы отлаживаем. Когда агент выполняет 200 шагов за две минуты для выполнения задачи и где-то по пути совершает ошибку, это другой тип ошибки. Нет трассировки стека — потому что нет кода, который дал сбой. Сбой произошел из-за рассуждений агента. В этом видео Харрисон рассказывает о том, как наблюдаемость агентов обеспечивает оценку их работы. Подробнее: https://www.langchain.com/conceptual-...