Транслируемые функции — правило Pullback/vJp

Как осуществить обратное распространение информации о котангенсе (или градиенте) по нелинейной функции активации при обучении нейронных сетей в рамках глубокого обучения? Нам необходимо вывести правило обратного преобразования для широковещательной передачи скалярной функции. Вот заметки: https://github.com/Ceyron/machine-lea... Из-за наименьшей возможной локальности матрица Якоби широковещательной функции будет просто диагональной, причем ее диагональные элементы будут заданы производной исходной скалярной функции, широковещательно применяемой к исходному входному вектору. Следовательно, это равно поэлементному масштабированию выходного котангенса с помощью широковещательной производной на исходном входном векторе. Действительно, это правило идентично тому, что делается в рамках автоматического дифференцирования в прямом режиме, см. здесь:    • Broadcasted Function - Pushforward/Jvp rule   ------- 📝: Посмотрите репозиторий канала на GitHub, куда я выкладываю все рукописные заметки и файлы исходного кода (вклад приветствуется): https://github.com/Ceyron/machine-lea... 📢: Следите за обновлениями канала и другими интересными материалами по машинному обучению и моделированию в LinkedIn или Twitter:   / felix-koehler   и   / felix_m_koehler   💸: Если вы хотите поддержать мою работу на канале, вы можете стать патроном здесь:   / mlsim   🪙: Или вы можете сделать разовое пожертвование через PayPal: https://www.paypal.com/paypalme/Felix... ------- Временные метки: 00:00 Краткий обзор: Что такое широковещательная передача функций? 00:33 Актуально для обратного распространения ошибки в нейронных сетях 00:53 Задача: Обратное распространение котангенсной информации 01:10 Общее правило вектор-якобианского произведения (обратного отображения) 01:34 Более подробное описание 02:25 Якобианская матрица диагональна 04:20 Определение поэлементного векторного умножения 05:54 Правило полного обратного отображения (vJp) 06:45 Замечание о типично используемых нелинейных функциях активации 08:09 Заключение