Глубокое обучение. Лекция 11. Методы оптимизации в обучении глубоких нейронных сетей (2019-2020)

В рамках лекции рассмотрены следующие методы оптимизации, использующиеся в обучении глубоких нейронных сетей: Batch Gradient Descent; Stochastic Gradient Descent; Mini-Batch Gradient Descent; Momentum; Nesterov Accelerated Gradient; AdaGrad; Adam. Коротко рассмотрены преимущества и недостатки алгоритмов, а также рекомендации по их применению. Доказательства сходимости НЕ приводятся. :) Это последняя лекция курса по Deep Learning. Надеюсь, курс оказался Вам полезен) Евгений Разинков -- к.ф.-м.н., директор по науке компании Pr3vision Technologies, основатель парфюмерного AI-проекта http://scented.ai, руководитель отдела машинного обучения и компьютерного зрения Группы компаний FIX. Tailor-made AI solutions for unique challenges: https://pr3vision.com Информация о лекциях: https://razinkov.ai Телеграм-канал с анонсами лекций и материалами по машинному обучению: https://t.me/razinkov_ai