Как голосовой агент учится ритму беседы — Шон Вэн

Цун-Сянь (Шон) Вэнь, технический директор PolyAI, рассказывает Тиму Скарфу, почему голосовые агенты сложнее текстовых. Голосовые агенты отнимают время, а хороший разговор зависит от адаптации к собеседнику, а не только от логического выбора наилучшего ответа. Шон описывает аудио-ориентированную модель (Dialog-RSN-1), которая сначала предсказывает сигнал к смене реплики, затем отвечает текстом с цитатами и в последнюю очередь записывает стенограмму, чтобы предприятия могли её проверить. Попутно: обучение на реальных, зашумленных звонках с добавлением синтетического шума и почему чрезмерно очищенный звук ухудшил работу новой модели. Задержка и что должен делать голосовой агент во время размышления. Почему голос с легким региональным акцентом лучше обычного. Почему общедоступные бенчмарки неэффективны для голосовых агентов, почему предприятия хотят владеть собственным набором инструментов для агентов и должно ли поведение быть заложено в наборе инструментов или в весах. Последняя часть посвящена работе с агентами: когнитивный долг, переход от создания контента к его проверке, Wispr Flow, разработка инструментов, которые могут использовать агенты, и вопрос о том, является ли небрежность субъективной оценкой читателя. Этот эпизод был подготовлен в сотрудничестве с PolyAI. https://poly.ai РАЗДЕЛЫ 0:00 Почему голосовые агенты сложнее текстовых 4:27 Чего хотят предприятия и почему PolyAI создала собственную модель 9:04 Как работает аудио-нативная голосовая модель 15:21 Обучающие данные, спектрограммы и синтетический шум 20:36 Проблема коктейльной вечеринки и будущее обмена репликами 25:21 Задержка, адаптивное мышление и поддержание доверия абонентов 31:33 Голоса, личность и «зловещая долина» 36:32 Как оценить производительность голосового агента? 42:00 Инженерное обеспечение и владение интеллектом 45:09 Четко определенные проблемы и проверяемые агенты 49:46 Адаптация весов и когнитивный долг 56:31 Агенты в работе: Wispr Flow, голосовое управление и создание инструментов 1:02:50 Следующее десятилетие голосового управления и что считается халтурой ССЫЛКИ Горький урок: http://www.incompleteideas.net/IncIde... [9:05] Генерация с расширенным поиском: https://arxiv.org/abs/2005.11401 [13:23] Шкала Мела: https://en.wikipedia.org/wiki/Mel_scale [17:16] Виктор Зуэ: https://en.wikipedia.org/wiki/Victor_Zue [17:45] Эффект коктейльной вечеринки: https://en.wikipedia.org/wiki/Cocktai... [20:39] Диаризационный диалог спикера: https://en.wikipedia.org/wiki/Speaker... [21:16]