Скрытые симметрии нейронных сетей | Нейровариететы: объяснение

Можно ли восстановить веса нейронной сети из представляемой ею функции — однозначно, с точностью до масштабирования и перестановки? В этой лекции по нейромногообразиям я познакомлю вас с основами нейроалгебраической геометрии и рассмотрю идентифицируемость в полиномиальных нейронных сетях. Мы начнем с мономиальных активаций и отображений параметров, построим нейромногообразия как пространства представимых полиномиальных функций и зададимся вопросом, как их размерность отражает выразительную силу архитектуры. Затем мы разграничим конечную, локальную и глобальную идентифицируемость, сравним недавние оценки степени активации и исследуем, что нам говорят тензорные разложения, ранги Якоби и классическая алгебраическая геометрия о восстановлении параметров нейронной сети. Лекция завершится обсуждением открытых проблем — особенно необъяснимого разрыва между конечной и глобальной идентифицируемостью. В ходе лекции мы рассмотрим: полиномиальные нейронные сети и их однородные выходные данные; отображения параметров, нейромногообразия и нейромногообразия; Замыкание Зариски и переход от вещественной к комплексной геометрии; Многообразия Веронезе и секущих в неглубоких сетях; Ожидаемая размерность на основе количества параметров и масштабирующих симметрий; Примеры с явно определяющими уравнениями и одновременной диагонализацией; Конечная, локальная и глобальная идентифицируемость; Перестановочные и масштабирующие симметрии скрытых нейронов; Пороговые значения степени активации и эксперименты с рангом Якоби; Тензорные разложения, единственность типа Крускала и пирамидальные архитектуры; Недавние линейные и квадратичные границы идентифицируемости; Открытые вопросы для полиномиальных, неоднородных и рациональных нейронных сетей. Докладчик: Максим Зубков BRL-AGSTA, DGIST | Математика для жизни Запись от 21 сентября 2026 г. ЧТЕНИЕ Джо Килил, Мэтью Трейгер и Джоан Бруна, О выразительной силе глубоких полиномиальных нейронных сетей: https://arxiv.org/abs/1905.12207 Кайе Кубьяс, Цзяи Ли и Максимилиан Висманн, Геометрия полиномиальных нейронных сетей: https://arxiv.org/abs/2402.00949 Белла Финкель, Хосе Израэль Родригес, Ченси Ву и Томас Яль, Пороги степени активации и выразительность полиномиальных нейронных сетей: https://arxiv.org/abs/2408.04569 Константин Усевич, Рикардо Борсои, Клара Деран и Марианна Клаузель, Идентифицируемость Глубокие полиномиальные нейронные сети: https://arxiv.org/abs/2506.17093 Алекс Массаренти и Массимилиано Мелла, Теорема Александра-Гиршовица для нейровариаций: https://arxiv.org/abs/2511.19703 Вахид Шахверди, Джованни Лука Маркетти и Кэтлин Кон, Обучение на лезвии бритвы: идентифицируемость и сингулярность полиномиальных нейронных сетей: https://arxiv.org/abs/2505.11846 Изучите растущую литературу по нейроалгебраической геометрии: https://neuroalgebraicgeometry.ai #Нейромногообразия #Нейровариации #ПолиномиальныеНейронныеСети