#167 Амортизированный вывод и GPU для Stan, с Полем-Кристианом Бюркнером и Стивом Брондером

Поддержка и ресурсы → Поддержите шоу на Patreon:   / learnbayesstats   → Курс по байесовскому моделированию (первые 2 урока бесплатно): https://topmate.io/alex_andorra/1011122 Наша музыкальная тема — «Good Bayesian» от Baba Brinkman (feat. MC Lars and Mega Ran). Ознакомьтесь с его потрясающими работами на https://bababrinkman.com/ ! Основные моменты: В: Что такое амортизированный байесовский вывод и чем он отличается от MCMC? Вместо запуска MCMC на каждом наборе данных, вы обучаете нейронные сети на данных, смоделированных на основе модели, поэтому вам не нужны функции правдоподобия или априорные плотности. После завершения обучения вывод на новом наборе данных происходит практически мгновенно: новые данные на входе, апостериорное распределение на выходе. Цена — все, что несут с собой нейронные сети, от нестабильного обучения до отсутствия гарантий. Заявленная цель Пола — сделать эти методы такими же надежными и устойчивыми, как MCMC, но при этом значительно ускорить их работу, и он откровенно признает, что не знает, удастся ли когда-нибудь достичь этой цели. В: Почему байесовская модель может не иметь пригодной для использования функции правдоподобия? О: Обычно не потому, что функцию правдоподобия в принципе нельзя записать, а потому, что её вычисление настолько дорогостоящее или численно нестабильное, что на практике это невыполнимо. Пол приводит два случая. Во-первых, механистические модели, построенные на сложных дифференциальных уравнениях, как в физической химии или биологии, где невозможно решить уравнения, чтобы получить плотности и градиенты стабильным и быстрым способом. Во-вторых, большие модели со скрытыми переменными, содержащие тысячи скрытых переменных между параметрами и данными, где их исключение безнадежно. В обоих случаях моделирование на основе модели просто: смоделируйте параметры, скрытые переменные и данные, отбросьте скрытые переменные и изучите связь между параметрами и данными на основе моделирования. В: Когда следует использовать вывод на основе моделирования вместо MCMC? О: Когда MCMC изначально не может эффективно работать. Приближенные байесовские вычисления существуют уже десятилетия, но не масштабировались дальше нескольких параметров; нейронные сети сделали вывод на основе моделирования осуществимым и масштабируемым, а амортизация стала почти побочным эффектом. Для моделей в физике, биологии, химии или психологии без поддающихся обработке вероятностей нейронный вывод на основе моделирования является передовым методом. Но Пол ясно дает понять, что когда MCMC осуществим, он, вероятно, все равно будет превосходить по точности и достоверности, особенно когда данные выходят за пределы распределения или модель неправильно специфицирована. Полный текст урока доступен по ссылке: https://learnbayesstats.com/episode/a... Главы: 15:33 Что такое амортизированный байесовский вывод и когда его следует использовать вместо MCMC? 23:18 Почему байесовская модель может не иметь пригодной для использования функции правдоподобия? 26:03 Что сдерживает вычисления на GPU в Stan? 31:14 Что такое ограничения суммы до нуля и почему они ускоряют выборку моделей? 35:55 ​​Что такое корректировка Якоби в байесовской статистике? 39:17 Как диагностировать ошибки в амортизированном байесовском выводе? 42:01 Что такое перекрестная проверка с исключением одной группы для иерархических моделей? 45:57 Недостаточно обученные нейронные апостериорные модели переоценивают или недооценивают неопределенность? 49:06 Как разработчики Stan используют инструменты ИИ в своей работе? 55:47 Следует ли Stan и brms скрывать алгоритм вывода от пользователей? Спасибо моим патронам (https://learnbayesstats.com/#patrons) за то, что сделали этот эпизод возможным! Ссылки из выпуска: https://learnbayesstats.com/episode/a...