WaveNet: Генерация аудио по выборкам | Глубокие авторегрессионные модели — Часть 2

После того, как в прошлый раз мы углубились в PixelCNN и проследили, как сети генерируют изображения пиксель за пикселем, пришло время применить эту элегантную авторегрессионную философию к совершенно другой, сложной области: необработанному аудио. Наша следующая остановка — фундаментальная технология WaveNet от DeepMind. Переход от 2D-пикселей к 1D-аудиосигналу означает работу с десятками тысяч сэмплов в секунду. Отслеживание того, как сеть моделирует этот необработанный, непрерывный сигнал шаг за шагом, является одним из самых блестящих архитектурных достижений в генеративном аудио. Приятного просмотра! Не стесняйтесь оставлять комментарии с вопросами — я с удовольствием помогу. 00:00 - Представление аудиосигнала 01:20 - Авторегрессивная генерация аудиосигнала 02:08 - Причинные и расширенные свертки 04:20 - Обучение против вывода 05:38 - Полная архитектура WaveNet 07:52 - Квантование по закону Мю 09:22 - Обучение WaveNet 10:22 - Условный WaveNet 11:35 - Обучение условного WaveNet Связанные статьи: WaveNet: Генеративная модель для необработанного аудио - https://arxiv.org/abs/1609.03499 LJSpeech - https://keithito.com/LJ-Speech-Dataset/ Естественный синтез речи путем обусловливания WaveNet предсказаниями мел-спектрограммы (Tacotron 2) - https://arxiv.org/abs/1712.05884