Математика в основе ИИ | матрицы, тензоры, deep learning | Podlodka Podcast #436

Многие знают, что когда модели обучаются, где-то под капотом перемножаются матрицы и тензоры, и все это связано с дифференцированием. Мы с Денисом Степановым взялись за нелегкую задачу – разобраться, что же именно там происходит! Полезные ссылки: — Dive into Deep Learning Aston Zhang, Zachary C. Lipton, Mu Li, Alexander J. Smola (online book with code and formulas) https://d2l.ai/ https://www.amazon.com/s/ref=dp_bylin... — Micrograd by Andrej Karpathy https://github.com/karpathy/micrograd — Andrej Karpathy builds GPT from scratch    • Let's build GPT: from scratch, in code, sp...   — Scott Aaronson on LLM Watermarking    • Watermarking: where to?   — Annotated history of Modern AI and Deep Learning by Jurgen Schmidhuber https://people.idsia.ch/~juergen/deep... — Probabilistic Machine Learning: An Introduction Kevin Patrick Murphy https://probml.github.io/pml-book/boo... — Probabilistic Machine Learning: Advanced Topics Kevin Patrick Murphy https://probml.github.io/pml-book/boo... — Pattern Recognition and Machine Learning Christopher Bishop https://www.microsoft.com/en-us/resea... — Deep Learning: Foundations and Concepts Christopher Bishop, Hugh Bishop https://www.bishopbook.com/ — Deep Learning Ian Goodfellow, Yoshua Bengio, Aaron Courville https://www.deeplearningbook.org/ — Глубокое обучение: Погружение в мир нейронных сетей С. Николенко, А. Кадурин, Е. Архангельская https://www.k0d.cc/storage/books/AI,%... — Gonzo-обзоры ML статей Григорий Сапунов, Алексей Тихонов https://t.me/gonzo_ML — Machine Learning Street Talk podcast    / machinelearningstreettalk   — Feedforward NNs, Autograd, Backprop (Datalore report, Denis Stepanov) https://datalore.jetbrains.com/report... — Softmax Regression, Adversarial Attacks (Datalore report, Denis Stepanov) https://datalore.jetbrains.com/report... — Dual Numbers, PINN (Datalore report, Denis Stepanov) https://datalore.jetbrains.com/report... ❓ Хочешь обсудить выпуск или задать вопрос эксперту? Вступай в наш Telegram-чат: https://t.me/podlodka 📰 Не любишь чаты, но хочешь оставаться в курсе дел и прокачивать свой IT кругозор? Подписывайся на наш Telegram-канал: там публикуются анонсы новых выпусков, а в комментах идут ценные и горячие обсуждения! 5 тысяч опытных IT-специалистов уже с нами: https://t.me/podlodkanews 👉Предложить себя в подкаст https://forms.gle/NtmaZmeDAa3MHSra7 Тайм-коды: 00:00 О чем выпуск 05:33 Значение понимания ИИ 11:23 Математические основы Deep Learning 44:03 Вероятностные аспекты обучения 51:25 Функции активации 01:01:50 Обучение с учителем и без учителя 01:13:15 Обратное распространение ошибки 01:15:30 Использование Python в тензорных вычислениях 01:18:03 Ватермаркинг в языковых моделях 01:26:13 Что такое гиперпараметры 01:31:45 Применение языковых моделей в математике 01:37:45 Заключение