Оценки — это не модульные тесты — Идо Песок, Версель v0

Как подходить к оценке недетерминированной системы — и как в этом преуспеть. Об Идо Песоке Идо Песок — инженер и исследователь в компании Vercel, работающий над ИИ, лежащим в основе v0, и сосредоточенный на создании надежных и интуитивно понятных систем искусственного интеллекта. Запись сделана на Всемирной выставке инженеров-ИИ в Сан-Франциско. Будьте в курсе наших предстоящих мероприятий и контента, подписавшись на нашу рассылку здесь: https://www.ai.engineer/newsletter Временные метки: 00:00 Введение в Vercel V0 и его развитие 01:00 Проблема ненадежности ИИ 02:44 Пример сбоя ИИ в приложении "Fruit Letter Counter" 03:33 Введение в "оценки" и аналогия с баскетбольной площадкой 05:09 Определение "площадки": понимание области пользовательских запросов 07:53 Сбор данных для оценок 09:13 Структурирование оценок: константы в данных, переменные в задаче 10:45 Оценка оценок 12:35 Интеграция оценок в CI/CD 13:40 Преимущества использования оценок --- Смотрите вместе с исправленной стенограммой, резюме, временными метками и ресурсами на официальной странице этого доклада AIE страница: https://ai.engineer/talks/L8OoYeDI_ls... Присоединяйтесь к нашим предстоящим конференциям для инженеров в области ИИ (см. целевую страницу https://ai.engineer): AIEi Shanghai, 5–6 ноября — первая конференция для встреч с ведущими китайскими лабораториями и инженерами AIE CODE в Сан-Франциско, 10–12 ноября — возвращается ведущая конференция по программированию в области ИИ AIEi Sydney, 7–8 декабря — первая конференция AIEi, проводимая параллельно с NeurIPS 2026 в Сиднее ---