Глубинное обучение представлений — Йошуа Бенджио (MILA, Канада)

Аннотация: Как люди или машины могут обнаруживать высокоуровневые абстрактные представления, которые не указаны непосредственно в наблюдаемых данных? Первоначальная цель глубокого обучения — обеспечить возможность обучения таким представлениям, позволяющим выявлять лежащие в их основе объясняющие факторы. В идеале это означало бы, что высокоуровневые семантические факторы можно было бы декодировать из представлений верхнего уровня с помощью простых предикторов, таких как линейный классификатор, обучаемый на очень небольшом количестве примеров. Однако существует слишком много способов представления одной и той же информации, и поэтому необходимо предоставить обучающемуся механизму дополнительные подсказки, которые можно рассматривать как априорные знания. Мы выделяем несколько таких априорных знаний. Одно из них заключается в том, что высокоуровневые факторы, измеренные в разное время (или в разных местах), обладают высокой взаимной информацией, то есть могут быть предсказаны друг на друга и содержат много битов информации. Мы представляем недавние работы по обучению представлений без учителя, направленные на максимизацию взаимной информации между случайными переменными. Наконец, мы представляем новую идею о том, что хорошие представления должны быть устойчивыми к изменениям распределения, и показываем, что это действительно можно использовать в метаобучении для выявления причинно-следственных переменных и того, как они причинно связаны. Биография: Йошуа Бенджио признан одним из ведущих мировых экспертов в области искусственного интеллекта (ИИ) и пионером глубокого обучения. С 1993 года он является профессором кафедры компьютерных наук и операционных исследований Монреальского университета. Обладатель Канадской исследовательской кафедры в области статистических алгоритмов обучения, он также является основателем и научным директором Mila, Квебекского института искусственного интеллекта, крупнейшей в мире университетской исследовательской группы в области глубокого обучения. Его вклад в исследования неоспорим. В 2018 году Йошуа Бенджио собрал наибольшее количество новых цитирований в мире среди ученых-компьютерщиков благодаря своим многочисленным публикациям. В следующем году он получил престижную премию Киллама в области компьютерных наук от Канадского совета по искусству и стал одним из лауреатов премии А.М. Тьюринга, которую он получил совместно с Джеффри Хинтоном и Янном Лекуном, а также премии за выдающиеся достижения от Фонда исследований Квебека – Природа и технологии. Обеспокоенный социальным воздействием ИИ, он активно участвовал в разработке Монреальской декларации об ответственном развитии искусственного интеллекта.