Chronos, TimesFM, TabPFN: Структурные причинно-следственные модели и обучение в контексте. Модели...

«Золотое правило» науки о данных было простым: корреляция не означает причинно-следственную связь. Чтобы узнать, действительно ли работает лечение, вам требовалось рандомизированное контролируемое исследование — или очень сложный, вручную настроенный причинно-следственный граф. Но что, если бы базовая модель могла взглянуть на электронную таблицу и «увидеть» скрытые причинно-следственные структуры внутри неё? Сегодня мы разберём выпуск Do-PFN, прорыва в области нейронных сетей, построенных на основе предварительных данных. В отличие от Chronos или TimesFM, которые освоили «что» в прогнозировании временных рядов, Do-PFN решает вопрос «почему». Предварительно обучаясь на миллионах синтетических причинно-следственных моделей, эта модель учится обходить необходимость в заранее определённых графах, выявляя мешающие переменные посредством чисто контекстного обучения. Мы углубляемся в математику структурных причинно-следственных моделей, сравнивая подход «патчинга» в TimesFM от Google с токенизацией в Chronos от Amazon и задавая главный вопрос: наконец-то ли мы вступаем в эру причинно-следственного вывода без предварительного обучения? Ключевые технические моменты для введения Оператор do(X): Упоминание обозначения do(X) сигнализирует вашей аудитории о переходе от стандартной вероятности к причинно-следственной связи Перла. Синтетическая предварительная подготовка: Подчеркивание того, что модель была обучена на «миллионах синтетических вселенных», объясняет, как она обрабатывает данные, которые никогда раньше не видела. Сравнение: Сопоставление Do-PFN с моделями временных рядов, такими как Chronos, помогает аудитории понять, что, хотя обе являются «фундаментальными», их цели принципиально различны: одна предсказывает следующее значение, другая — результат действия. Математический сдвиг В то время как TimesFM и Chronos фокусируются на временных закономерностях (минимизируя среднеквадратичную ошибку во времени), Do-PFN использует сети, построенные на основе априорных данных. Он предварительно обучен на миллионах синтетических структурных причинно-следственных моделей (SCM). Математически он не просто ищет корреляции; он обучен выявлять факторы, влияющие на результат, и медиаторы в контексте таблицы, эффективно выполняя байесовский вывод за один прямой проход.