Объяснение функции автоградации в PyTorch: произведение вектора и якобиана (VJP)

#pytorch #deeplearning #calculus В большинстве руководств говорится, что обратное распространение ошибки — это всего лишь правило цепочки, но редко показывают линейную алгебру, которая делает его эффективным для глубокого обучения. Мы разберем, почему PyTorch вычисляет VJP вместо полных якобианов, экономя память и вычислительную мощность.