Эта «энергия» позволяет нейронным сетям формировать воспоминания [сети Хопфилда].

🚀 Подайте заявку на наш буткемп: https://compu-flair.com/bootcamp В этом видео мы разберем, что означает «энергия» в сети Хопфилда и почему это не то же самое, что физическая энергия в реальной физике. В этом видео мы покажем, как эта искусственно созданная «энергия» действует как оценка или высота ландшафта, гарантирующая, что сеть стабилизируется в состоянии памяти, а не будет блуждать или зацикливаться. Вы узнаете, как сети Хопфилда хранят воспоминания в своих весовых коэффициентах связей и извлекают полный шаблон из частичного сигнала с помощью асинхронных обновлений, которые надежно перемещаются «вниз по склону» в энергетическом ландшафте. Мы объясняем энергию Хопфилда как функцию Ляпунова: одно число, вычисляемое на основе текущих состояний нейронов «включено/выключено» и симметричных весовых коэффициентов, которое никогда не увеличивается в соответствии с правилом обновления. Вы увидите интуитивное объяснение холмов, долин и аттракторов, а также почему сходимость означает достижение локального минимума, который может быть правильным воспоминанием или ложным стабильным состоянием. Мы также уточняем ключевую физическую связь с моделью Изинга и гамильтонианами, а также решающее различие: физическая энергия — это сохраняющаяся, измеримая величина, связанная с работой и теплотой, в то время как «энергия» Хопфилда — это определяемый моделью механизм учета, выбранный для обеспечения предсказуемого поведения динамики. Наконец, мы связываем эти идеи с оптимизацией, имитацией отжига и исследованием, управляемым температурой, машинами Больцмана и более новыми подходами в стиле Хопфилда, где функция, подобная функции Ляпунова, может направлять обучение в пространстве весов и даже может быть максимизирована, а не минимизирована. Ссылки: https://arxiv.org/pdf/2004.08091 https://www.doc.ic.ac.uk/~ae/papers/H... https://www.computational-intelligenc... https://www.gatsby.ucl.ac.uk/~pel/tn/... https://www.cs.toronto.edu/~hinton/co...    • NND11 | Hopfield Network Energy Function E...   📺 Разделы 00:00 - Введение в сети Хопфилда 01:08 - Как мозг хранит воспоминания 01:49 - Нейроны как «включено/выключено» Переключатели 02:24 - Интенсивный курс по науке о данных 03:40 - Определение «энергии» в ИИ 04:08 - Энергетический ландшафт 05:21 - Формула энергии Хопфилда 06:45 - Требование симметрии 07:53 - Связь с магнитной физикой 10:08 - Как воспоминания превращаются в долины 11:30 - Ложные воспоминания и локальные минимумы 13:28 - Добавление «температуры» в ИИ 15:24 - Три основных различия 16:51 - Аналогия с высотой на карте