Использование Airflow для различных клиентских проектов в Accion Labs

Когда конвейер обработки заявок на кредиты в режиме реального времени строится на основе cron-заданий, ночные вызовы неизбежны. В этом эпизоде ​​Чандан Гоуда (linkedin.com/in/chandan-gowda-a-h-744908195), инженер по данным в Accion Labs (accionlabs.com), присоединяется к Кентену, чтобы обсудить, как его команда использует Airflow в клиентских проектах, включая пример использования Airflow в сфере финансовых услуг и пилотный проект по применению оркестровки производственного уровня к конвейерам обработки данных RAG и GenAI. Ключевые моменты: 00:00 Введение. 01:00 Чем занимается Accion Labs как консалтинговая и сервисная компания в сфере технологий, работающая в банковском, финансовом, медицинском и розничном секторах. 02:00 Роль Чандана на стыке инженерии данных и GenAI: создание конвейеров обработки данных на одной неделе и агентов на основе RAG на следующей. 04:20 Почему Airflow чаще всего выигрывает в оценках клиентов: независимость от инфраструктуры, отсутствие привязки к конкретному облаку, детальный контроль над логикой конвейера. 06:00 Контейнеризация Airflow на Kubernetes или виртуальных машинах, чтобы миграция между облаками не требовала переписывания кода. 08:14 Пример использования системы оценки кредитоспособности для клиента из финансового сектора и замена ненадежных заданий cron единым DAG Airflow от начала до конца, что сокращает трудозатраты примерно на 25%. 10:42 Стратегия запуска: датчики файлов S3 в качестве основного триггера, обрабатывающего 90% запусков, плюс запланированный резервный вариант в качестве подстраховки. 12:53 Сквозной поток внутри Airflow: загрузка в озеро данных, проверка и преобразование с помощью соединений с кредитными бюро, вывод модели в контейнере и обратная запись в систему управления кредитами. 15:56 Пример реализации оркестровки ИИ и почему данные, поступающие в модели GenAI, требуют такой же тщательности, как и любой производственный конвейер. 18:09 Использование Airflow для обнаружения изменений в документах, повторной сегментации и встраивания только измененных данных с пороговыми значениями качества и возможностью отката перед переводом в рабочую среду. 20:23 План развития: конвейеры оценки моделей, оркестровка нескольких агентов и пакеты поставщиков для LangChain, OpenAI и Hugging Face. 22:32 Пожелания к Airflow: нативные триггеры, управляемые событиями, помимо опроса датчиков, первоклассная наблюдаемость для рабочих нагрузок ИИ и улучшенная динамическая генерация DAG в масштабе. Упомянутые ресурсы: [Orchestrate Everything](https://astronomer.link/data-flowcast-oe) [Accion Labs](accionlabs.com) [Apache Airflow](airflow.apache.org) [Airflow LangChain provider](airflow.apache.org/docs/apache-airflow-providers-langchain/stable/index.html) [Airflow OpenAI provider](airflow.apache.org/docs/apache-airflow-providers-openai/stable/index.html) Спасибо за прослушивание "The Data Flowcast: Mastering Apache Airflow® for Data Engineering and AI". Если вам понравился этот эпизод, пожалуйста, оставьте 5-звездочный отзыв, чтобы помочь распространить информацию о шоу. И обязательно подпишитесь, чтобы не пропустить ни одной из интересных бесед. #ai #automation #apacheairflow