Физический секрет самого странного явления в нейронных сетях.

🚀 Подайте заявку на наш буткемп: https://compu-flair.com/bootcamp В этом видео мы разбираем «понимание» в нейронных сетях — почему модели могут долго запоминать обучающие данные, а затем внезапно начать обобщать. В этом видео мы также показываем, как идеи из физики, такие как энергетические ландшафты и фазовые переходы, помогают объяснить, почему происходит этот отложенный «щелчок» и почему он так чувствителен к выбору обучающих данных. 📺 Разделы 00:00 - Понимание: внезапное отложенное обобщение 01:26 - Модульная арифметика как тестовый пример 02:33 - Визуализация плато разрыва в точности 02:37 - Интенсивный курс по науке о данных 04:41 - Запоминание против обнаружения правил 05:42 - Оптимизация как энергетический ландшафт 06:55 - Почему запоминание проще, чем изучение правил 07:47 - Почему градиентный спуск благоприятствует запоминанию 08:34 - Снижение веса и давление в сторону правил 10:01 - Переходы в обучении как фазовые сдвиги 12:24 - Влияние шума и масштаба обучения 13:52 - Понимание в крупномасштабных моделях ИИ 14:37 - Различение правил и ярлыков 15:09 - Заключение: преимущества расширенного обучения