Лекция 6: Обратное распространение ошибки

В лекции 6 обсуждается алгоритм обратного распространения ошибки для эффективного вычисления градиентов комплексных функций. Мы рассматриваем идею вычислительного графа как структуры данных для организации вычислений и показываем, как алгоритм обратного распространения ошибки позволяет вычислять градиенты, проходя по графу в обратном направлении и выполняя локальные вычисления в каждом узле графа. Мы приводим примеры реализации обратного распространения ошибки в коде, используя как плоские, так и модульные реализации. Мы обобщаем понятие обратного распространения ошибки от скалярных функций к векторным и тензорным функциям и рассматриваем конкретный пример обратного распространения ошибки через операцию умножения матриц. В заключение мы кратко упоминаем некоторые расширения базового алгоритма обратного распространения ошибки, включая автоматическое дифференцирование в прямом режиме и вычисление производных высшего порядка. Слайды: http://myumi.ch/R58q1 _________________________________________________________________________________________________ Компьютерное зрение стало повсеместным явлением в нашем обществе, находя применение в поиске, понимании изображений, приложениях, картографии, медицине, дронах и беспилотных автомобилях. В основе многих из этих приложений лежат задачи визуального распознавания, такие как классификация изображений и обнаружение объектов. Недавние разработки в области нейронных сетей значительно повысили производительность этих современных систем визуального распознавания. Этот курс представляет собой углубленное изучение методов глубокого обучения на основе нейронных сетей для компьютерного зрения. В ходе курса студенты научатся реализовывать, обучать и отлаживать собственные нейронные сети, а также получат подробное представление о передовых исследованиях в области компьютерного зрения. Мы рассмотрим алгоритмы обучения, архитектуры нейронных сетей и практические инженерные приемы для обучения и тонкой настройки сетей для задач визуального распознавания. Сайт курса: http://myumi.ch/Bo9Ng Преподаватель: Джастин Джонсон http://myumi.ch/QA8Pg