Дэн Робертс | Принципы теории глубокого обучения

12.01.2021 Семинар «Новые технологии в математике» Докладчик: Дэн Робертс, MIT и Salesforce Название: Принципы теории глубокого обучения Аннотация: Глубокое обучение — это захватывающий подход к современному искусственному интеллекту, основанный на искусственных нейронных сетях. Цель этого доклада — предоставить план — с использованием инструментов физики — для теоретического анализа глубоких нейронных сетей, имеющих практическое значение. Эта задача будет включать в себя как понимание статистики инициализированных глубоких сетей, так и определение динамики обучения такого ансамбля при обучении на данных. В своем «микроскопическом» определении глубокие нейронные сети представляют собой гибкий набор функций, построенных из множества базовых вычислительных блоков, называемых нейронами, причем множество нейронов параллельно организовано в последовательные слои. Заимствуя из теории эффективного разложения, мы разработаем пертурбативное разложение 1/n вокруг предела бесконечного числа нейронов на слой и систематически проинтегрируем параметры сети. Мы объясним, как сеть упрощается при большой ширине и как распространение сигналов от слоя к слою можно понять с точки зрения потока ренормализационной группы Вильсона. Это покажет, что у глубоких сетей есть проблема настройки, аналогичная критичности, которую необходимо решить, чтобы сделать их полезными. В конечном итоге мы найдем «макроскопическое» описание широких и глубоких сетей в терминах статистических моделей со слабым взаимодействием, где сила взаимодействия между нейронами возрастает с увеличением отношения глубины к ширине сети. Если позволит время, мы объясним, как эти взаимодействия приводят к обучению представлений. Этот доклад основан на книге «Принципы теории глубокого обучения», написанной в соавторстве с Шо Яидой и основанной на исследованиях, также проведенных в сотрудничестве с Борисом Ханиным. Она будет опубликована в следующем году издательством Cambridge University Press.