Перейти к содержимому

边听边说、边看边想、还有一张脸的全双工模型,讲一讲背后的技术

跟李沐学AI

0:00 / 0:00

边听边说、边看边想、还有一张脸的全双工模型,讲一讲背后的技术

2 962 просмотра · 10 ч назад
跟李沐学AI
114 тыс. подписчиков
2 962 просмотра · 10 ч назад
今天的大部分语音助手还是"你说一句、它答一句"。Higgs Realtime Duplex 是我们做的全双工多模态模型:像真人一样边听边说、边看边想,还能一边聊天一边在后台调用工具,并且有一张脸。这个视频用 44 分钟讲清楚它为什么要这样设计、怎么训练、效果如何。 章节 0:00 前言:三个 demo,什么样的交互模型才算好 9:58 架构一:分段式(ASR + LLM + TTS) 17:20 架构二:端到端 (End to end) 24:49 架构三:全双工 (Full duplex ) 37:32 模型训练、评测与总结 技术 blog 原文: https://www.boson.ai/blog/higgs-realt...