Нейронные обыкновенные дифференциальные уравнения и PINN: как нейросети изучают динамику и исполь...

Нейронная сеть может аппроксимировать функцию. Может ли она также изучить дифференциальное уравнение, описывающее систему? И если нам уже известны физические принципы, как мы можем обучить сеть следовать им? В этом видео представлены две основные идеи в области научного машинного обучения: нейронные обыкновенные дифференциальные уравнения (нейронные ОДУ) и нейронные сети, основанные на физических принципах (PINN). Мы рассмотрим каждую идею, начиная с основ. Вы узнаете: ✅ Как обновления остатков соответствуют шагам Эйлера и что означает эта связь в непрерывном пределе ✅ Как метод сопряженной чувствительности обучает нейронные ОДУ с памятью, независимой от шагов решателя, и где он может давать сбои ✅ Адаптивные вычисления, скрытые ОДУ для нерегулярных временных рядов и непрерывные нормализующие потоки (FFJORD) ✅ Почему уникальные траектории ОДУ не могут пересекаться в пространстве состояний и времени, и как дополненные нейронные ОДУ обходят это ограничение ✅ Нейронные СДУ, нейронные КДУ и универсальные дифференциальные уравнения ✅ Как PINN кодируют ДДУ в функции потерь с помощью автоматического дифференцирования ✅ Уравнение Бюргерса, обратные задачи и скрытая гидродинамика ✅ Почему PINN дают сбои (спектральное смещение, дисбаланс функции потерь, причинность) и стратегии их смягчения ✅ Честное сравнение с классическими решателями ✅ Гамильтоновы нейронные сети, нейронные операторы (DeepONet, FNO) и практическое руководство по принятию решений 👍 Если это вам помогло, поставьте лайк видео и подпишитесь на канал, чтобы получать больше подробных объяснений по ИИ и машинному обучению. 💬 Вы обучали нейронную сеть PINN или нейронную систему ODE? Расскажите об этом в комментариях! Ресурсы и инструменты 📘 Мои книги • Машинное обучение, от начала до конца (моя книга) (*): https://amzn.to/4jn0xeU • Разработка на облачной инфраструктуре Oracle (моя книга) (*): https://amzn.to/3W9jmsa • Создание систем ИИ с помощью Python (моя книга) (*): https://amzn.to/4yJGSdK 📚 Рекомендуемая литература • Обучение с подкреплением: введение - Саттон и Барто (*): https://amzn.to/4i0F3SG • Глубокое обучение - Гудфеллоу, Бенджио и Курвиль (*): https://amzn.to/4yO6VQV • Практическое машинное обучение - Орельен Жерон (*): https://amzn.to/4B7qe9A ☁️ Запустите код самостоятельно • RunPod - облачные графические процессоры для запуска эксперименты (бонусные баллы для новых пользователей) (*): https://runpod.io?ref=qbnj1x01 (*) Партнерская ссылка — если вы совершите покупку по ней, я могу получить небольшую комиссию без дополнительных затрат с вашей стороны. Как партнер Amazon, я получаю доход от соответствующих покупок. Источники: Chen, Rubanova, Bettencourt, Duvenaud, "Neural Ordinary Differential Equations", NeurIPS 2018 (Премия за лучшую статью) Haber & Ruthotto, "Stable Architectures for Deep Neural Networks", Inverse Problems 2017; E, «Предложение по машинному обучению с помощью динамических систем», 2017 Понтрягин и др., Математическая теория оптимальных процессов, 1962 Голами, Койтцер, Бирос, «ANODE: безусловно точные градиенты с эффективным использованием памяти для нейронных ОДУ», IJCAI 2019 Рубанова, Чен, Дювенауд, «Скрытые ОДУ для временных рядов с нерегулярной выборкой», NeurIPS 2019 Гратволь и др., «FFJORD», ICLR 2019 Дюпон, Дусе, Тех, «Расширенные нейронные ОДУ», NeurIPS 2019 Киджер, Моррилл, Фостер, Лайонс, «Нейронно-управляемые дифференциальные уравнения для нерегулярных временных рядов», NeurIPS 2020 Ракаукас и др., «Универсальные дифференциальные уравнения для научного машинного обучения», arXiv 2020 Лагарис, Ликас, Фотиадис, «Искусственные нейронные сети для решения обыкновенных и частных дифференциальных уравнений», IEEE Trans. Neural Networks 1998 Раисси, Пердикарис, Карниадакис, «Нейронные сети, основанные на физических принципах», J. Comput. Phys. 378, 2019 Раисси, Яздани, Карниадакис, «Скрытая механика жидкости», Science 367, 2020 Кришнаприян и др., «Характеристика возможных режимов отказа в нейронных сетях, основанных на физических принципах», NeurIPS 2021 Ван, Тэн, Пердикарис, «Понимание и смягчение патологий градиентного потока в PINN», SIAM J. Sci. Comput. 2021 Ван, Ю, Пердикарис, «Когда и почему PINN не обучаются: перспектива касательного ядра нейронной сети», J. Comput. Phys. 2022 Ван, Санкаран, Пердикарис, «Учет причинно-следственной связи при обучении PINN», CMAME 2024 (arXiv 2022) МакГрейви и Хаким, «Слабые базовые линии и искажения в отчетности приводят к чрезмерному оптимизму в машинном обучении для дифференциальных уравнений в частных производных, связанных с жидкостью», Nature Machine Intelligence 2024 Грейданус, Дзамба, Йосински, «Гамильтоновы нейронные сети», NeurIPS 2019; Кранмер и др., «Лагранжевые нейронные сети», 2020 Лу и др., «DeepONet», Nature Machine Intelligence 2021; Ли и др., «Фурье-нейронный оператор», ICLR 2021 #NeuralODE #PINN #НаучноеМашинноеОбучение #ГлубокоеОбучение #МашинноеОбучение #ИИДляНауки #Физика