Семинар в Стэнфорде — Может ли мозг осуществлять обратное распространение ошибки? Джеффри Хинтон

«Может ли мозг осуществлять обратное распространение ошибки?» — Джеффри Хинтон из Google и Университета Торонто О докладе: Глубокое обучение оказалось очень успешным в решении множества сложных задач восприятия. Это предполагает, что сенсорные пути в мозге также могут использовать обратное распространение ошибки, чтобы гарантировать, что нижние кортикальные области вычисляют признаки, полезные для верхних кортикальных областей. Нейробиологи не воспринимали эту возможность всерьез из-за множества очевидных возражений: нейроны не передают действительные числа; выход нейрона не может одновременно представлять признак мира и производную функции стоимости по отношению к выходу нейрона; обратные связи с нижними кортикальными областями, необходимые для передачи производных ошибки, не имеют тех же весов, что и прямые связи; обратные связи даже не идут к нейронам, от которых исходят прямые связи; нет очевидного источника размеченных данных. Я опишу совместную работу с Тимоти Лилликрапом над способами преодоления этих возражений. Поддержка серии семинаров по компьютерным системам Стэнфордского коллоквиума предоставлена ​​Стэнфордским компьютерным форумом. Аннотации и биографии докладчиков можно найти здесь: http://ee380.stanford.edu/Abstracts/1... Серия семинаров по компьютерным системам (EE380) представляет современные исследования в области проектирования, реализации, анализа и использования компьютерных систем. Темы варьируются от интегральных схем до операционных систем и языков программирования. Участие бесплатное и открыто для всех желающих, новые лекции проводятся каждую неделю. Узнайте больше: http://bit.ly/WinYX5 0:00 Введение 0:48 Онлайн-стохастический градиентный спуск 2:43 Четыре причины, по которым мозг не может выполнять обратное распространение ошибки 5:20 Источники контроля, позволяющие осуществлять обучение с обратным распространением ошибки без отдельного сигнала контроля 8:18 Алгоритм «бодрствование-сон» (Хинтон и др., 1995) 12:15 Новые методы обучения без учителя 13:39 Заключение о сигналах контроля 14:03 Могут ли нейроны передавать реальные значения? 16:16 Статистика и мозг 18:39 Большие данные против больших моделей 23:32 Dropout как форма усреднения модели 24:53 Различные виды шума в скрытой активности 28:38 Как передаются производные в обратном направлении? 30:18 Фундаментальное решение в области представления: временные производные представляют производные ошибки 32:24 Раннее использование идеи о том, что временные производные кодируют производные ошибки (Хинтон и Макклелланд, 1988) 35:17 Сочетание STDP с обратным STDP 37:02 Если это то, что происходит, что должны видеть нейробиологи? 39:22 Что достигают два нисходящих прохода 40:11 Способ кодирования производных ошибки верхнего уровня 48:28 Следствие использования временных производных для кодирования производных ошибки 48:40 Следующая проблема 50:18 Теперь происходит чудо 56:44 Почему работает выравнивание с обратной связью?