Запуск Airflow 3 в регулируемой среде в OTPP

Использование Apache Airflow в крупном пенсионном фонде означает необходимость баланса между строгими требованиями соответствия и быстрым внедрением новых возможностей. В этом эпизоде ​​Ковси Нараян, руководитель направления облачных данных и инженерии данных в [Ontario Teachers' Pension Plan](otpp.com), присоединяется к ведущему Кентену Данасу, чтобы рассказать о миграции OTPP в облако, переходе на Airflow 3 и полноценном запуске удаленного выполнения. Ключевые моменты: 00:00 Введение. 01:18 Внутри команды платформы данных OTPP и их обязанности в области миграции в облако, стандартов и внедрения. 02:33 Что движет многолетним переходом OTPP от локальной архитектуры к облачной, построенной на масштабируемости и отказоустойчивости. 02:57 Новый стек: Snowflake в качестве корпоративной платформы данных, dbt для трансформации и Airflow в качестве оркестратора посередине. 04:15 Почему OTPP выбрала Astronomer: активный вклад в проект Airflow OSS, быстрые релизы во время выполнения, а также встроенный мониторинг, наблюдаемость и RBAC. 05:50 Переход от dbt core с операторами Bash к dbt Cosmos для детализации на уровне модели, отслеживания происхождения и точного восстановления после сбоев, а также повышение производительности благодаря режиму наблюдателя. 08:00 Обновление с Airflow 2.9 до Airflow 3 с использованием Astro CLI и линтеров для быстрого обнаружения устаревших функций. 09:32 Факторы, побудившие к внедрению удаленного выполнения: сохранение данных внутри периметра безопасности и масштабирование рабочих нагрузок на собственном кластере Kubernetes. 11:35 Как удаленное выполнение заменило сложную сетевую архитектуру VPN-туннелей и правил брандмауэра, устранив при этом задержки. 12:53 Процесс POV, критерии успеха и шестинедельный срок для проверки удаленного выполнения перед запуском в производство. 14:14 Полный запуск: последнее развертывание OTPP на хостинге было прекращено непосредственно перед записью. 15:06 Чего Kowsy хочет от Airflow в будущем: возможности оркестровки ИИ и дальнейшее совершенствование удаленного выполнения. Упомянутые ресурсы: [Пенсионный план учителей Онтарио](otpp.com) [Apache Airflow](airflow.apache.org) [Astronomer](astronomer.io) [Cosmos](astronomer.io/cosmos) Спасибо за прослушивание «The Data Flowcast: Mastering Apache Airflow® for Data Engineering and AI». Если вам понравился этот эпизод, пожалуйста, оставьте 5-звездочный отзыв, чтобы помочь распространить информацию о шоу. И обязательно подпишитесь, чтобы никогда не пропускать интересные беседы. #ИИ #Автоматизация #ВоздушныйПоток