Создание ETL-конвейера потоковой передачи данных в реальном времени с помощью Delta Live Tables в...

В этой практической демонстрации мы создадим производственный конвейер ETL для потоковой обработки данных в реальном времени на платформе Databricks с использованием таблиц Delta Live Tables (DLT). Вы увидите, как загружать синтетические данные IoT в таблицы Bronze, обогащать их статическими метаданными моста в Silver и вычислять 10-минутные агрегированные данные (средняя температура, максимальная вибрация, максимальный наклон) в Gold — с водяными знаками, объединением потоков со статическими данными и между потоками. 🔗 Ссылки и ресурсы Репозиторий проекта: https://github.com/pathfinder-analyti... Документация по DLT: https://learn.microsoft.com/en-us/azu... ThreadPoolExecutor: https://docs.python.org/3/library/con... 📚 Курсы Udemy (применяется скидка): Azure Databricks и Spark SQL (Python): https://www.udemy.com/course/azure-da... CI/CD с пакетами ресурсов Databricks: https://www.udemy.com/course/cicd-wit... dbt на Databricks: https://www.udemy.com/course/dbt-on-d... 🌐 Добавьте меня в LinkedIn:   / malvik-vaghadia   ⌚ Временные метки 00:00 Введение 01:27 Что такое DLT 04:17 Обзор проекта и архитектура решения 07:59 Настройка Azure 10:35 Структура кода проекта 10:55 Генератор синтетических данных 18:45 Запуск блокнота генератора данных 22:41 Бронза Блокнот 25:26 Серебряный блокнот 29:28 Золотой блокнот 34:27 Создание конвейера DLT 44:20 Резюме и итоги