[Энергетические модели] EBM против нормализованных потоков, VAE, GAN. Вывод с помощью энергетичес...

Большинство моделей, с которыми мы ежедневно взаимодействуем — стандартные трансформеры или диффузионные сети — одержимы вероятностями, сумма которых равна единице. Они аккуратны, нормализованы и масштабируемы определенным образом, что обходится дорого. Но что, если отказаться от нормализации? Что, если вместо вычисления вероятности просто присвоить энергетический балл каждому возможному состоянию мира? Добро пожаловать в мир энергетических моделей, или EBM. Мы поговорим о: Ландшафте: почему ненормализованные энергетические функции дают нам больше архитектурной свободы, чем мы когда-либо считали возможным. Физике обучения: как динамика Ланжевена и выборка MCMC позволяют нам перемещаться по этим энергетическим ландшафтам, чтобы найти «истину» в наших данных. Новом рубеже: почему новейшие энергетические трансформеры превосходят гигантов по масштабируемости, по сути, «думая» дольше во время вывода — жертвуя вычислительным временем ради более умных ответов.