[Live Coding] Полный Lakehouse: комплексный проект Azure Databricks (ELT, ML и BI)

В этом заключительном эпизоде ​​я объединяю всю серию в один реальный конвейер — ELT через архитектуру Medallion, модель машинного обучения, обученную и зарегистрированную на очищенных данных, и интерактивную панель мониторинга BI, все это построено на той же таблице orders_table из 5-го эпизода. → Почему это ELT, а не ETL: сначала загружаем необработанные данные, затем преобразуем их внутри Lakehouse → Архитектура Medallion: Bronze → Silver → Gold и для чего на самом деле предназначен каждый слой → Полный обзор серии: все из эпизодов 1–9 менее чем за 3 минуты → Живая демонстрация — Bronze — это наша необработанная таблица orders_table, Silver очищает ее, Gold агрегирует ее для отчетности → Живая демонстрация — обучение классификатора на очищенном слое Silver и его прямая регистрация в Unity Catalog → Живая демонстрация — запрос к Gold в Databricks SQL и привязка диаграммы к панели мониторинга → Как каждый эпизод этой серии на самом деле был лишь частью этого же конвейера ⏱ Временные метки 00:00 Вступление 00:30 Что мы будем создавать сегодня 04:30 Архитектура Medallion 05:00 Краткий обзор серии: эпизоды 1–9 07:30 Демонстрация — Bronze, Silver и Gold на практике 17:00 Демонстрация — Обучение и регистрация модели на слое Silver 23:00 Демонстрация — Запрос к Gold и создание дашборда 27:30 Краткий обзор и подведение итогов серии 🔗 Ссылки Что такое архитектура Medallion Lakehouse? — https://learn.microsoft.com/en-us/azu... Что такое Delta Lake в Azure Databricks? — https://learn.microsoft.com/en-us/azu... Что такое Unity Catalog? — https://learn.microsoft.com/en-us/azu... Управление жизненным циклом модели в Unity Catalog — https://learn.microsoft.com/en-us/azu... Архитектура хранилища данных в Azure Databricks — https://learn.microsoft.com/en-us/azu... #AzureDatabricks #DataLakehouse #ELT #DeltaLake #MLflow #UnityCatalog #BuildWithAI #DataEngineering #MachineLearning #BI