Оркестрация экономически эффективных конвейеров данных в Insignis

Управление Airflow силами команды инженеров данных из одного человека означает, что каждое решение, касающееся затрат, инструментов и передовых методов, должно быть обоснованным. В этом эпизоде ​​Кентен беседует с Анируддхой Сенгуптой (  / aniruddha-sengupta-2ab207125  , ведущим инженером данных в Insignis (https://www.insigniscash.com/), о том, как британская финтех-компания, специализирующаяся на сбережениях, управляет недорогой и масштабируемой платформой Airflow. Разговор охватывает вопросы наблюдаемости, передовые методы на уровне DAG, внутренние инструменты, разработанные Insignis для контроля затрат, и место ИИ в дорожной карте. Ключевые моменты: 00:00 Введение. 02:22 Команда данных Insignis как «газета» для бизнеса. Анируддха описывает роль команды по работе с данными: потребление данных из операционных систем и внешних источников, таких как Salesforce и Ringover, и предоставление аналитической информации без ответственности за бизнес-логику. 08:07 Airflow как оркестратор, а не исполнитель. Airflow находится в самом сердце платформы, оркестрируя SQL-конвейеры, обработку API и даже выступая в качестве уровня мониторинга поверх конвейеров реального времени, построенных в других местах. 12:19 Наблюдаемость как определение завершенности. Почему зеленый пользовательский интерфейс Airflow не является наблюдаемостью, и как Insignis создает независимые панели мониторинга для обнаружения незаметно потерянных данных. 14:38 Выбор управляемого Airflow. Как абстрагирование от планировщика, рабочих процессов и базы данных освобождает небольшую команду для сосредоточения на коде и документации. 20:04 Шаблоны DAG, которые снижают затраты. Обеспечение CI/CD, обратные вызовы при сбоях, продуманные границы DAG и периодическая очистка журналов и метаданных. 22:06 Tariff и Maestro. Два внутренних инструмента, разработанных Insignis: Tariff для отображения стоимости SQL-конвейеров и инструмент на основе ИИ под названием Maestro для рекомендаций по выбору размера рабочих процессов, планировщиков и баз данных. 25:40 Изучение ИИ с Airflow. Примеры использования MLOps, связанные с поведением клиентов и привлекательностью самовосстанавливающихся конвейеров. 28:20 Пожелания к Airflow. Анализ DAG на основе событий, чтобы изменения кода отображались в пользовательском интерфейсе практически мгновенно. Упомянутые ресурсы: Ежегодный опрос Airflow (https://astronomer.typeform.com/airfl...) Insignis (https://www.insigniscash.com/) Apache Airflow (https://airflow.apache.org/) Astronomer (https://www.astronomer.io/) Создание недорогой масштабируемой платформы Airflow для небольших команд (https://airflowsummit.org/sessions/20...) Google BigQuery (https://cloud.google.com/bigquery) Спасибо за прослушивание "The Data Flowcast: Mastering Apache Airflow® for Data Engineering and AI". Если вам понравился этот эпизод, пожалуйста, оставьте 5-звездочный отзыв, чтобы помочь распространить информацию о подкасте. И обязательно подпишитесь, чтобы не пропустить ни одной из интересных дискуссий. #AI #Автоматизация #Airflow