Развертывание Apache Airflow // Демо-занятие курса «DataOps Engineer»

Apache Airflow сейчас является самым популярным оркестратором для построения ETL процессов. Это мощный и удобный инструмент, который позволяет создавать достаточно сложные пайплайны, управлять зависимостями, подключаться к любым системам и заменять собой кучу cron'ов и ручных запусков. Но при первой же попытке развернуть его вы столкнетесь с множеством вопросов: Где развернуть сервис? В контейнере или на виртуалке? Одним узлом или несколькими? Какой планировщик выбрать? Как настроить CI/CD для DAG? Эти и другие вопросы мы обсудим на ближайшем открытом уроке по развертыванию Apache Airflow. Сдавайте вступительное тестирование, и мы запишем вам на занятие. «DataOps Engineer» - https://otus.pw/voVG/ Преподаватель: Егор Матешук - CDO AdTech - компании Квант Подключайтесь к обсуждению в чате - https://otus.pw/S0Oj/ Следите за новостями проекта: Telegram: https://t.me/Otusjava ВКонтакте: https://otus.pw/850t LinkedIn: https://otus.pw/yQwQ/ Хабр: https://otus.pw/S0nM/