Топ вопросов для собеседования по Apache Airflow

Разбираем реальные вопросы с интервью: от базовых (что такое DAG, schedule_interval, XCom) до продвинутых (Trigger Rules, Dynamic Task Mapping, deferrable-сенсоры, Executors). С примерами кода и объяснением, как отвечать на вопрос «Что ты делал в Airflow?». Телеграм-канал «Ведущий в дату» полезные гайды и тексты https://t.me/into_the_data Запись на менторство https://t.me/m/7hzzkhh6MWNi 00:00 Вступление: о чём видео и почему разбираем Airflow 2.x, а не 3 01:45 Что такое Airflow и DAG простыми словами 02:36 Вопрос: что такое DAG, как задать расписание и связать таски 03:10 schedule_interval и Execution Date / Logical Date 04:21 Как связывать таски 04:58 Параметры DAG: catchup (догонять ли пропущенные запуски) 05:44 Параметр depends_on_past и почему его редко используют 06:36 Классические операторы vs TaskFlow API (декораторы) 07:50 Как выглядит DAG на TaskFlow API 08:43 Upstream и downstream таски 09:41 Trigger rules: как управлять запуском тасок 11:44 Task Groups: группировка тасок в больших DAG 12:58 Ветвление: @task.branch и примеры использования 14:49 XCom: что это и как им пользоваться 16:05 Почему нельзя передавать большие данные через XCom 17:07 Как грузить большие объёмы данных: память, батчинг, партиционирование 18:26 Зависимости между DAG: TriggerDagRunOperator и сенсоры 20:14 ExternalTaskSensor и Datasets 21:16 Хуки (Hooks) и BaseHook 22:58 Connections: где хранить креды и пароли 23:35 Сенсоры и deferrable-режим 24:53 Идемпотентность: перезапуск DAG без побочных эффектов 25:51 Архитектура Airflow: веб-сервер, БД, шедулер, воркеры 26:43 Как код попадает в Airflow: CI/CD и деплой DAG 28:03 Executors: Local, Celery, Kubernetes 29:32 Параллелизм и пулы ресурсов 30:22 Кастомные операторы и хуки 30:52 Динамическая генерация тасок (Dynamic Task Mapping) 33:01 Итоговый вопрос: «Что ты делал в Airflow?» — как отвечать 35:37 Заключение и пожелания к следующим видео