D26B3634

Конвейеры ETL часто являются наиболее уязвимой частью аналитического стека — они разбросаны по различным инструментам, написаны на нескольких языках и сложны в масштабируемом использовании. В этом докладе показано, как команды создают готовые к производству SQL ETL-процессы на платформе Databricks Lakehouse, используя унифицированный подход, ориентированный на SQL. Мы рассмотрим, как загружать, преобразовывать и управлять данными с помощью декларативных конвейеров, последовательно применять механизмы управления и контроля качества, создавать и оптимизировать процессы с помощью ИИ, а также предоставлять надежные наборы данных непосредственно для аналитики и последующих рабочих нагрузок. Основное внимание уделяется упрощению архитектуры, снижению операционных издержек и ускорению итераций без ущерба для корректности или масштабируемости. Докладчики: Мэнфэй Рен, менеджер по разработке, Databricks; Шанель Роман, старший менеджер по продуктам, Databricks; Свяжитесь с нами: Веб-сайт: https://databricks.com X: / databricks LinkedIn: / databricks Instagram: / databricksinc Facebook: / databricksinc