Что нового в Apache Airflow® 3.3

Вышла Airflow 3.3 с набором функций, призванных помочь в решении сложных задач производственных конвейеров: сохранение состояния при повторных попытках, интеллектуальное реагирование на различные типы сбоев и разделение ресурсов не только по времени. В этом эпизоде ​​Марк Ламберти, руководитель отдела образовательного контента в [Astronomer](astronomer.io), присоединяется к Кентену Данасу, чтобы рассказать о нововведениях в этом релизе и о том, где каждая функция действительно полезна. Основные моменты: 00:00 Введение. 01:46 Новое хранилище состояния задач (AIP-103) позволяет задачам сохранять состояние при повторных попытках, поэтому длительно выполняющееся задание Spark можно повторно подключить после сбоя рабочего процесса, вместо того чтобы дублировать его при повторной попытке. 03:46 Хранилище состояния ресурсов позволяет использовать шаблоны водяных знаков: сохранять дату последней обработки или смещение для ресурса и возобновлять работу с этого места при следующем запуске. 05:33 Почему это важно для агентных рабочих процессов: возобновление работы агента с того места, где он остановился, вместо повторного выполнения каждого действия. 06:58 Почему XCom не решает эту проблему: они переинициализируются при каждой повторной попытке. 09:27 Подключаемые повторные попытки позволяют прикрепить политику повторных попыток к задаче, которая разветвляется в зависимости от типа исключения. Повторная попытка при временных ошибках, немедленная остановка при ошибке 403. 11:42 Создание подкласса правила повторных попыток для более сложной логики, включая динамическое количество повторных попыток, которое раньше требовало взлома метабазы ​​данных. 15:52 Обновления разделов ресурсов в версии 3.3: сегментное разделение с использованием аннотаций fan-out и roll-up для нижестоящих DAG. 21:42 Запуск задач на Java и Go, переход Airflow к многоязычному оркестратору. 23:33 Улучшение версионирования DAG: возможность выбора, будет ли при ручном повторном запуске использоваться самая последняя версия DAG или исходная версия из этого запуска. 25:03 Советы командам, которые все еще используют Airflow 2: используйте электронную книгу по обновлению и инструменты миграции Astro на основе ИИ для выполнения недифференцированных сложных задач. Упомянутые ресурсы: Astronomer (astronomer.io) Примечания к выпуску Airflow 3.3 (https://airflow.apache.org/docs/apach...) Хранилище состояний задач (https://www.astronomer.io/docs/learn/...) Политики повторных попыток (https://www.astronomer.io/docs/learn/...) Многоязычная поддержка (https://www.astronomer.io/docs/learn/...) Вебинар по версии 3.3 (https://www.astronomer.io/events/webi...) Электронная книга по обновлению с Airflow 2 до 3 (https://www.astronomer.io/ebooks/upgr...) Спасибо за прослушивание подкаста «The Data Flowcast: Mastering Apache Airflow® for Data Engineering and AI». Если вам понравился этот эпизод, пожалуйста, оставьте 5-звездочный отзыв, чтобы помочь распространить информацию о подкасте. И обязательно подпишитесь, чтобы не пропустить ни одной из интересных бесед. #aigenerated #automation #airflow