Навык управления проектами с помощью ИИ, который мгновенно приносит предложения о работе | Апарна...

Апарна Дхинакаран, директор по продуктам Arize AI (привлечено 131 млн долларов), в одном прямом эфире демонстрирует, как создать агента управления проектами в Claude Code, оснастить его средствами мониторинга, проводить оценки и замыкать цикл самосовершенствования. Если вы хотите понять, как выглядит серьезная практика оценки ИИ в 2025 году, этот эпизод для вас. Полный текст статьи: https://www.news.aakashg.com/p/aparna... Транскрипт: https://www.aakashg.com/how-to-build-... --- Временные метки: 00:00 - Вступление 01:34 - Что делают неправильно менеджеры проектов 04:35 - Почему вкус продукта - это альфа-фактор 06:30 - Фреймворк build-trace-eval-loop 08:04 - Реклама 09:28 - Создание агента в Claude Code 19:00 - Инструментация одной командой 22:00 - Потоковая передача трассировок в Arize Live 28:00 - Запрос к Клоду на предложения по оценке 31:13 - Реклама 33:58 - Оценка Vibe против аксиального кодирования 48:50 - Цикл автоматическое улучшение 01:06:00 - Разблокировка контекстного графа 01:18:55 - Заключение --- Благодарим наших спонсоров: 1. Superhuman - Зарегистрируйтесь и получите 1 месяц бесплатной рассылки Superhuman Mail по моей ссылке: superhuman.com/akash 2. Land PM Job - Получите свою следующую должность менеджера проектов быстрее - https://landpmjob.com 3. Vanta - Автоматизируйте соответствие требованиям - http://vanta.com/aakash 4. Product Faculty - Получите скидку 550 долларов на сертификацию AI PM с кодом AAKASH550C7 - https://maven.com/product-faculty/ai-... 5. Bolt - Выпускайте продукты на основе ИИ в 10 раз быстрее - https://bolt.new --- Ключевые выводы: 1. Проводите трассировку перед оценкой - Трассировка — это полный 1. Пошаговое воспроизведение действий вашего агента. Без этого у вас нет доказательной базы для оценок. Каждый вызов LLM, каждый вызов инструмента, каждый промежуточный результат должны быть видны, прежде чем вы напишете хотя бы одну оценку. 2. Стоп — это ваша единица оценки. Стоп — это один дискретный шаг внутри трассировки. Оценки выполняются на уровне стопа, а не на уровне трассировки. «Правильно ли этот конкретный этап оценки определил приоритет?» — более полезный вопрос, чем «был ли весь запуск удачным?». 3. Инструментарий теперь выполняется одной командой — навыки инструментирования Claude Code могут автоматически настроить наблюдаемость для вашего агента. Навык Arize Phoenix анализирует ваш код, идентифицирует вызовы LLM и вызовы инструментов и связывает их со слоем трассировки. Инженерная поддержка не требуется. 4. Оценка vibe — это черновик, а не вердикт — LLM может подсказать, что следует проверить в ваших оценках, проанализировав ваши трассировки. Это предложение не будет учитывать вашу политику приоритета ошибок, вашу логику оценки или ваше определение «критического». Рассматривайте его как версию 0 и уточняйте, основываясь на вашем реальном мнении. 5. Когда срабатывают оценки, могут быть две причины: агент выдал некорректный результат или оценка неправильно откалибрована. Только самостоятельное прочтение отмеченного фрагмента может помочь определить, что именно нуждается в исправлении. Оба варианта нормальны. Оба – хорошие новости. 6. Оценки смещаются и требуют регулярной корректировки: ваши приоритеты меняются, ваша политика в отношении ошибок меняется, ваш продукт меняется. Оценка, откалиброванная по данным прошлого квартала, начнет давать сбои в этом квартале. Регулярная корректировка с учетом обратной связи от пользователей – это техническое обслуживание, а не сбой. 7. Цикл самосовершенствования уже работает в лучших командах: получите все фрагменты, где сработали оценки. Сгруппируйте по категориям сбоев. Предложите конкретное решение проблемы. Просмотрите и утвердите. Выпустите новую версию. Этот цикл работает по расписанию и требует участия человека на этапе утверждения. 8. Менеджеры проектов в крупных компаниях: начните с одного внутреннего агента — не продукта, ориентированного на клиента. Внутреннего инструмента, который сэкономит вам четыре часа в неделю. Как только вы его получите, вы, естественно, захотите отслеживать его работу. Именно тогда для вас лично начнет иметь значение наблюдаемость. 9. Граф контекста — это ключ к успеху в крупных компаниях — агенты полезны только в той мере, в какой у них есть контекст. Корпоративные данные хранятся в разрозненных хранилищах. Команды, которые прорываются в эту область, создают унифицированные слои контекста, которые предоставляют одному агенту доступ к CRM, Gong, аналитике, GitHub и Slack. 10. Вкус продукта по-прежнему имеет решающее значение — код сейчас дешев. Скорость выпуска — это базовое требование. Менеджеры проектов, которые вырываются вперед, — это те, кто обладает наиболее четким пониманием того, что нужно создавать, и кто налаживает циклы, которые делают их агентов лучше с каждым днем. --- Где найти Апарну Дхинакаран: LinkedIn:   / aparnadhinakara.  .