Более глубокие нейронные сети и затухание скорости обучения на C++ | Глубокое обучение, шаг за ша...

Создайте более глубокие нейронные сети на C++ и поэкспериментируйте с уменьшением скорости обучения на рукописных цифрах MNIST. В 13-м эпизоде ​​«Глубокого обучения: до самого низа» мы преобразуем нашу фиксированную нейронную сеть в последовательность слоев. Общий интерфейс слоев позволяет нам объединять линейные слои с tanh или ReLU и собирать их обучаемые параметры для градиентного спуска. Затем мы изменим глубину сети, сравним поведение при обучении и скорректируем скорость обучения. Мы добавим уменьшение скорости обучения, чтобы уменьшить шаг на протяжении последовательных эпох, и изучим, что происходит с функцией потерь и точностью тестирования. Рассматриваемые темы: Базовый класс Layer с параметрами forward Контейнер Sequence, который содержит слои с std::unique_ptr Более глубокие многослойные персептроны для классификации MNIST Слои активации Tanh и ReLU Градиентный спуск, эксперименты со скоростью обучения и её уменьшение Полная серия:    • Deep Learning, All the Way Down | From Fir...   Исходный код: https://github.com/mechanical-turk/de...