JEPA предсказывает эмбеддинги, а не пиксели

Закройте один квадрат фотографии, передайте остальное модели, обученной заполнять недостающие пиксели, и в результате вы получите размытое и нечеткое изображение. Обычно в таких случаях обвиняют модель, но это неверный диагноз. При квадратичной ошибке единственное наилучшее предсказание — это не любое правдоподобное завершение, а среднее значение всех предсказаний, поэтому размытие является точным оптимумом заданной нами цели. Предположим, скрытый квадрат — это рукописная тройка или рукописная восьмерка, одинаково вероятные варианты. Наихудший результат не является ни одной из этих цифр, это их среднее значение по пикселям, и выбор истинной цифры обходится ровно вдвое дороже. В условиях такой ошибки быть правым в половине случаев хуже, чем ошибиться, получив результат, который находится посередине. Разделите полученную ошибку на две части, и причина станет структурной. Одна часть — это расстояние от вашего предположения до этого среднего значения, и более крупная модель, обученная на большем объеме данных, действительно сводит его к нулю. Другой аспект — это дисперсия ответа в зависимости от контекста, и никакая пропускная способность на неё не влияет, поскольку это вообще не факт, касающийся модели, а факт того, насколько плохо видимые пиксели не могут определить скрытые. Между тем, получение убедительного среднего значения само по себе является навыком, которому сеть должна научиться, поэтому модель, вознаграждаемая за угадывание текстуры, становится моделью, которая тратит свою пропускную способность на отслеживание текстуры. Архитектура совместного встраивания с предсказанием меняет порядок сравнения. Контекстный кодировщик считывает то, что видно, целевой кодировщик считывает всё изображение, причём целевой объект считывается с его выхода, а не с входа, а предиктор отображает одно представление в другое. Оценка представляет собой расстояние между векторами, и пиксели скрытой области никогда не попадают в функцию потерь. Это даёт свободу отбрасывать то, что ничто не определяет, и сразу же создаёт проблему: постоянный кодировщик делает энергию равной нулю на каждом примере, поэтому коллапс является глобальным минимумом, а не ловушкой, из которой нужно выбраться. Всё, что выглядит как деталь реализации, существует для того, чтобы сделать этот ответ недостижимым, и мы рассматриваем каждый элемент, включая второй коллапс, который почти все объяснения пропускают, когда предиктор, получив достаточно богатую переменную обусловливания, просто копирует её на выход. Мы заканчиваем на доказательствах и ограничениях. В статье I-JEPA один эксперимент заменяет целевой параметр предсказания с представления на необработанные пиксели и ничего больше, и линейный зонд теряет двадцать шесть точек, несмотря на триста дополнительных эпох обучения. Затем честная сторона: JEPA отказывается от генерации по построению, механизм защиты от коллапса ограничивает коллапс, а не исключает его, и в задаче низкого уровня, такой как подсчет объектов, пиксельная модель, которую она превосходит почти везде, превосходит её. Похожие видео ▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬ Автокодировщики — объяснение:    • Autoencoders - Explained   Вариационный автокодировщик — объяснение:    • Variational Autoencoder - Explained   Две башни против сиамских сетей против функции потерь триплета — вычисление сопоставимых эмбеддингов:    • Two Towers vs Siamese Networks vs Triplet ...   Word2Vec — как слова стали векторами:    • Word2Vec — How Words Became Vectors   Сверточные нейронные сети (CNN) — объяснение:    • Convolutional Neural Networks (CNNs) - Exp...   Самовнимание — объяснение:    • Self-Attention (w/ caps) #datascience #mac...   Генеративные состязательные сети (GAN) — объяснение:    • Generative Adversarial Networks (GANs) - E...   UMAP — объяснение:    • UMAP - Explained   Пакетная норма против послойной нормы — объяснение:    • Batch Norm vs Layer Norm - Explained   Содержание ▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬ 00:00 — Размытие — правильный ответ 01:37 — Среднее значение тройки и Восемь 03:31 - Куда на самом деле идут потери 04:51 - Переместите линейку 07:01 - Что покупает свобода 09:17 - Законопроект приходит немедленно 10:34 - Нарушьте симметрию 11:59 - Скажите предсказателю, куда, и ничего больше 14:48 - Другая дорога 16:42 - Что она покупает и чего не покупает Подписывайтесь на меня ▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬ 🐦 X: @datamlistic https://x.com/datamlistic 📸 Instagram: @datamlistic   / datamlistic   📱 TikTok: @datamlistic   / datamlistic   👔 LinkedIn:   / datamlistic   Поддержка канала ▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬ Лучший способ поддержать канал — поделиться контентом. ;) Если вы также хотите поддержать канал финансово, пожертвование в размере стоимости чашки кофе всегда приветствуется! (полностью необязательно и добровольно) ► Patreon:   / datamlistic   ► Bitcoin (BTC): 3C6Pkzyb5CjAUYrJxmpCaaNPVRgRVxxyTq ► Ethereum (ETH): 0x9Ac4eB94386C3e02b96599C05B7a8C71773c9281 ► Cardano (ADA): addr1v95rfxlslfzkvd8sr3exkh7st4qmgj4ywf5zcaxgqgdyunsj5juw5 ► Tether (USDT): 0xeC261d9b2EE4B6997a6a424067af165BAA4afE1a #je...