Повышение уровня безопасности в Airflow 3

Безопасность — одна из наименее заметных частей Airflow для большинства пользователей, но именно она определяет, какие функции команды могут включить в продакшене. В этом эпизоде ​​Кентен Данас беседует с Анишем Гири, старшим инженером-программистом и активным участником проекта Apache Airflow, специализирующимся на безопасности, о трёх недавних изменениях, затрагивающих почти каждое развертывание Airflow 3: усиление тестирования соединений, добавление отзыва JWT и разделение токенов выполнения по областям действия. Ключевые моменты: 00:00 Введение. 01:16 Путь Аниша в Airflow изнутри, начиная с исходного кода и документации, а не с запуска конвейеров в продакшене. 03:13 Почему разработка в области безопасности меняет обычный вопрос о программном обеспечении с «что это может делать?» на «во что кто-либо может это превратить?» 04:49 Как работало тестирование соединений раньше, почему оно было отключено в Airflow 2.7 после обнаружения CVE и как перепроектирование переносит выполнение с API-сервера. 06:26 Запуск тестов подключения на рабочем узле в Airflow 3, чтобы учетные данные никогда не покидали пределы API-сервера. 07:50 Как выглядели обсуждение в списке рассылки и проверка архитектуры, включая первое отклонение и окончательное достижение консенсуса. 10:00 Проблема выхода из системы с помощью JWT в Airflow 3 и таблица отзыва, которая делает выход из системы фактическим выходом. 13:12 Инцидент в производственной среде с задачей конвейера GPU, которая выдала ошибку 403 через 15 минут, и почему потребовалось разделить токен на две части. 15:41 Как теперь токены рабочей нагрузки и аутентификации имеют разные сроки действия и области действия, связанные с таймаутом очереди задач. 19:53 Советы новым участникам проекта Airflow: начинайте с малого, не бойтесь проверки запросов на слияние и рассматривайте обратную связь как наставничество. Упомянутые ресурсы: [Ежегодный опрос Airflow](https://astronomer.typeform.com/airfl...) [Apache Airflow](airflow.apache.org) [Airflow на GitHub](github.com/apache/airflow) [Airflow Slack](apache-airflow-slack.herokuapp.com) [Аниш Гири на Airflow Summit](airflowsummit.org/speakers/anish-giri) Спасибо за прослушивание "The Data Flowcast: Mastering Apache Airflow® for Data Engineering and AI". Если вам понравился этот эпизод, пожалуйста, оставьте 5-звездочный отзыв, чтобы помочь распространить информацию о шоу. И обязательно подпишитесь, чтобы не пропустить ни одной из интересных бесед. #ai #orchestration #airflow