Миккель Люккегор - Прореживание без производных (DaFT) со стохастическим вложением ядра

Этот доклад был частью семинара «Вычислительная количественная оценка неопределенности: математические основы, методология и данные», проходившего в ESI со 2 по 6 мая 2022 года. Мы предлагаем новый эвристический метод для прореживания выборок MCMC, который не опирается на градиент апостериорного распределения или прямое вычисление (потенциально большой) матрицы ядра. Вместо этого мы вычисляем максимальное среднее расхождение (MMD) с использованием стохастических вложений признаков, которые асимптотически аппроксимируют популярные инвариантные к сдвигу ядра. Это позволяет нам быстро вычислять MMD между подмножествами-кандидатами выборок и всем набором выборок. Затем MMD минимизируется с помощью генетического алгоритма (ГА), нацеленного на (дискретное) пространство оптимизации эмпирических выборок естественным и простым способом. Использование ГА в качестве оптимизатора имеет дополнительное преимущество в виде получения популяции почти оптимальных подмножеств выборок, а не единственного решения. Этот базовый подход расширен для учета весовых коэффициентов в прореженных выборках, что позволяет включить больше выборок из хвостов распределения без ущерба для MMD-оптимальности прореженного подмножества. В этом докладе мы покажем, что наши стохастические векторные представления признаков асимптотически приближают истинное значение MMD, продемонстрируем полезность метода на сложном синтетическом распределении с несколькими модами и изогнутым гребнем, а также наметим некоторые направления будущих исследований.