#063 — Проф. ЙОШУА БЕНЖИО — GFlowNets, сознание и причинность

Теперь нас спонсирует Weights and Biases! Пожалуйста, перейдите по ссылке нашего спонсора: http://wandb.me/MLST, чтобы начать создавать централизованную систему учета работы вашей команды в области машинного обучения. Patreon:   / mlst   Discord:   / discord   Для Йошуа Бенджио GFlowNets — это самое захватывающее достижение машинного обучения на сегодняшний день. Он считает, что они могут решать ранее неразрешимые задачи и являются ключом к раскрытию самого механизма абстрактного мышления машин. В этой дискуссии рассматриваются перспективы GFlowNets и личный путь, который профессор Бенджио проделал, чтобы достичь их. Подкаст (без музыки): https://anchor.fm/machinelearningstre... Особая благодарность: Александру Маттику (Zickzack) Ссылки: Йошуа Бенджио @ MILA (https://mila.quebec/en/person/bengio-...) Основы GFlowNet (https://arxiv.org/pdf/2111.09266.pdf) Генеративные модели на основе Flow Network для неитеративной генерации разнообразных кандидатов (https://arxiv.org/pdf/2106.04399.pdf) Обучение согласованности интерполяции для полуконтролируемого обучения (https://arxiv.org/pdf/1903.03825.pdf) К обучению причинно-следственным представлениям (https://arxiv.org/pdf/2102.11107.pdf) Причинно-следственный вывод с использованием инвариантного прогнозирования: идентификация и доверительные интервалы (https://arxiv.org/pdf/1501.01332.pdf) Простое введение в метод Монте-Карло с использованием цепей Маркова https://link.springer.com/content/pdf... [00:00:00] Организационные вопросы [00:01:20] Спонсорский ролик о весах и смещениях [00:03:26] Введение в GFlowNets [00:16:24] Начало интервью [00:19:18] Доска Гальтона Аналогия [00:22:20] Связь принципа свободной энергии [00:26:37] Сохранение разнообразия и эволюционные алгоритмы [00:28:25] Перспектива многорукого бандита [00:30:37] Избегание обмана, поиск неизвестного [00:33:53] Где GFlowNets находят бесплатный обед [00:36:20] AlphaZero против FlowZero (GFlowNets на шахматах) [00:40:08] Использование GFlowNets для интерактивного поиска [00:42:55] Изучение моделей Casaul как графов [00:46:39] Изучение абстрактных моделей мира [00:51:05] Могут ли машины мета-обучать категориям [00:54:22] Априорное сознание. Является ли GPT-3 сознательным? [00:58:18] Вопрос к Дэвиду Чалмерсу [01:01:25] Почему линейные модели доминируют? Это абстракция! [01:05:23] Личный путь профессора Бенджио (с отсылкой к Гэри Маркусу) [01:10:02] Итоги: Мечта сбылась! [01:17:21] Абстракция — ключ [01:21:27] Забавное определение причинно-следственной связи [01:25:04] Спор о семантике с семантиком [01:30:07] Человеческое обучение в эволюционных временных масштабах