Глубинное обучение представлений

Успех алгоритмов машинного обучения, как правило, зависит от представления данных, и мы предполагаем, что это связано с тем, что различные представления могут в большей или меньшей степени переплетать и скрывать различные объясняющие факторы вариации, стоящие за данными. Хотя для разработки представлений можно использовать специфические знания предметной области, также может применяться обучение с использованием общих априорных знаний, и стремление к ИИ мотивирует разработку более мощных алгоритмов обучения представлениям, реализующих такие априорные знания. В этом докладе рассматриваются последние работы в области обучения признакам без учителя и глубокого обучения, с акцентом на достижения в понимании вероятностных и геометрических (многообразных) аспектов регуляризованных автокодировщиков. Это мотивирует более долгосрочные нерешенные вопросы о соответствующих целях для обучения хорошим представлениям, для вычисления представлений (т.е. вывода) и геометрических связях между обучением представлениям, оценкой плотности и обучением многообразиям. Наконец, в докладе кратко обсуждается важный вопрос о том, почему обучение глубоких или рекуррентных сетей является сложной задачей (и важным для их масштабирования в направлении ИИ), а также последние достижения в этом отношении.