Алексей Карпов — Apache Airflow — надежная работа под высокой нагрузкой в условиях большой компании

Подробнее о конференции IML: https://jrg.su/1drGPM — — Скачать презентацию с сайта IML — https://jrg.su/Kej1KC Обсудили, как в крупной компании внедрить новый сервис для оркестрации ETL-пайплайнов. Как сделать Airflow таким, чтобы всем было удобно им пользоваться всем: от конечного потребителя до тех, кто его будет поддерживать. Рассмотрели виды инсталляций, их особенности, плюсы и минусы разных вариантов реализаций. Изучили по максимуму возможные подводные камни, возникающие в работе, и обсудили, как их обойти. Узнали, как Airflow можно интегрировать с другими инструментами для расширения функциональности и повышения удобства. Рассмотрели best practice в работе. На реальном примере рассмотрели, с какими проблемами мы столкнулись и как их решали, какие фичи добавляли, с чем интегрировали. Постарались понять, куда двигаться дальше.