AlphaZero: полный интерактивный курс с Connect 4 и блокнотами Marimo Python

Введение в алгоритм AlphaZero, который учится играть в игры посредством самообучения, с использованием игры «Соедини четыре» в качестве примера и интерактивных блокнотов Python с использованием Marimo для иллюстрации идей. Видео разделено на 3 основные части, которые раскрывают идеи AlphaZero: 1. Алгоритм верхней границы доверия (UCB) для принятия решений в условиях неопределенности, 2. Алгоритм поиска по дереву Монте-Карло (MCTS) для построения игрового дерева и, наконец, 3. Сверточные нейронные сети, используемые в качестве функции «экспертного совета» для обучения ИИ. (Изначально это видео состояло из трех частей, но теперь я объединил весь контент в одно видео, упорядочив его по одному месту. Оригинальные видео доступны в этом плейлисте:    • AlphaZero Explained  ) Ссылки на интерактивные блокноты Python с использованием Marimo molab: • Часть 1. Алгоритм верхней доверительной границы (UCB) https://molab.marimo.io/notebooks/nb_... • Часть 2. Поиск по дереву Монте-Карло (MCTS) https://molab.marimo.io/notebooks/nb_... • Часть 3. Как AlphaZero использует сверточные нейронные сети (Сверточные нейронные сети) https://molab.marimo.io/notebooks/nb_... Разделы: 0:00 Введение в AlphaZero и этот краткий курс 4:58 Философия обучения в AlphaZero Часть 1: Верхняя граница доверия (UCB) 23:22 Объяснение алгоритма UCB 23:45 Пример многорукого бандита с UCB 36:17 Пример игры Connect 4 с UCB Часть 2: Поиск по дереву Монте-Карло (MCTS) 37:12 MCTS: Задача о дереве игры 42:15 MCTS: Четыре шага MCTS 51:36 Интерактивная реализация и визуализация MCTS Часть 3: Сверточные нейронные сети (Сверточные нейронные сети) 1:00:07 P3 Сверточные нейронные сети: Как они обучаются в AlphaZero 1:13:17 P3 Сверточные нейронные сети: как они работают Ссылка на видео 3Blue1Brown о кросс-энтропии (упомянутое в разделе о нейронных сетях)    • But what is cross-entropy? | Compression i...   Ссылки на использованные ресурсы и источники: • Статья об AlphaZero от DeepMind: https://deepmind.google/blog/alphazer... • Статья о кривой обучения AlphaGo Zero от DeepMind: https://deepmind.google/blog/alphago-... • Доклад Дэвида Сильвера «Эра опыта» (2026):    • Keynote - Era of experience (Prof. David S...   • Игровые деревья AlphaZero (Дэвид Сильвер на NIPS 2017):    • Deepmind AlphaZero - Mastering Games Witho...   • Цитата Каспарова о креативности AlphaZero: https://www.theguardian.com/sport/201... • Гарри Каспаров о Лексе Фридмане:    • Garry Kasparov: IBM Deep Blue, AlphaZero, ...   Раскрытие информации об ИИ: Я использовал Gemini в браузере в качестве помощника для редактирования кода при программировании на Python. Это в основном помогло с отображением, например, с HTML-кодированием и отображением эмодзи (Gemini в 2026 году еще не разобрался, как работают реактивные ячейки в Marimo, поэтому для основной логики приходится много писать кода вручную!) Это видео было создано в рамках Летней математической выставки 2026 года. #SoME5