🔥 Комплексный проект по Azure Data Engineering | 💥 ADF + DATABRICKS + POWER BI
learn by doing it
0:00 / 0:00
🔥 Комплексный проект по Azure Data Engineering | 💥 ADF + DATABRICKS + POWER BI
72 214 просмотров · 1 год назад
learn by doing it
57,8 тыс. подписчиков
72 214 просмотров · 1 год назад
🔥 Создайте готовый к использованию в отрасли проект по проектированию данных на Azure от начала до конца! Научитесь внедрять архитектуру Medallion с использованием Azure Data Factory (ADF), Azure Databricks, ADLS Gen2, Azure SQL и Power BI.
⬇️ СКАЧАТЬ РЕСУРСЫ ПРОЕКТА
[Репозиторий GitHub] - https://github.com/manish040596/azure...
👉 *ВРЕМЕННЫЕ МЕТКИ ПОЛНОГО УРОКА*:
00:00 - Демонстрация проекта и обзор архитектуры
09:05 - Настройка ресурсов Azure (ADLS, Azure SQL)
16:43 - Создание хранилища Azure Data Lake
21:53 - Создание фабрики данных Azure
22:54 - Загрузка данных с помощью ADF (Parquet/CSV → ADLS)
33:16 - Архитектура Medallion в Databricks (Bronze → Silver → Gold)
36:56 - Расширенные преобразования с помощью PySpark
1:00:35 - Создание интерактивных панелей мониторинга Power BI
💡 *ВЫ НАУЧИТЕСЬ*:
✅ Внедрять архитектуру Medallion производственного уровня в Azure
✅ Создавать автоматизированные ETL-конвейеры с помощью ADF и Databricks
✅ Обрабатывать необработанные данные → получать аналитические данные с помощью Delta Lake
✅ Разрабатывать звездообразную схему в Azure SQL DB
✅ Создавать вычисляемые меры в Power BI с помощью DAX
✅ Применять проверку данных и обработку ошибок
✅ Оптимизировать облачные затраты для конвейеров данных
🎯 *ИДЕАЛЬНО ПОДХОДИТ ДЛЯ*:
Инженеров данных, создающих портфели Azure
Аналитиков данных, переходящих на облачные платформы
Специалистов по анализу данных, которым нужны данные, готовые к использованию в производстве
Претендентов на сертификацию Azure (DP-203, DP-500)
🛠️ *ИСПОЛЬЗУЕМЫЙ ТЕХНОЛОГИЧЕСКИЙ СТЕК*:
Azure Data Factory (ADF)
Azure Databricks (PySpark, Delta) Озеро данных)
Хранилище Azure Data Lake (ADLS Gen2)
База данных Azure SQL
Power BI (DAX, моделирование данных)
Архитектурная платформа Medallion
🔔 Хотите больше подобных видео?
👉 Ставьте лайки, 💬 оставляйте комментарии, 🔁 делитесь и ✅ подписывайтесь!
📚 Плейлисты, которые вам понравятся:
1️⃣ AWS Data Engineer:
🔗 • AWS DATA ENGINEER
2️⃣ Плейлист Azure Data Engineer:
🔗 • Complete azure data engineer Course | azur...
3️⃣ Плейлист SQL:
🔗 • SQL Playlist
6️⃣ Плейлист PySpark:
🔗 • Pyspark Tutorial
5️⃣ Плейлист Azure Data Factory:
🔗 • Azure Data Factory
4️⃣ Плейлист Python:
🔗 • Python Tutorial
7️⃣ Проекты Azure Data Engineer:
🔗 • Data Engineer Project
8️⃣ Подготовка к собеседованию на должность инженера данных:
🔗 • Data Engineer Interview Playlist
📣 Свяжитесь со мной:
💬 Присоединяйтесь к обсуждению в Telegram:
🔗 https://t.me/+Cb98j1_fnZs3OTA1
🙏 Надеюсь, вам понравилось видео и вы узнали что-то ценное!
📺 До встречи в следующем выпуске — а пока, пока-пока 👋
🔖 Теги:
#dataengineer #azuredataengineer #awsdataengineer #pyspark #databricks #adf #azuredatafactory #cloudcomputing #etl #datascience
📌 *ДОБАВЛЕНЫ МАРКЕРЫ ГЛАВ* - Переход к любому разделу!
#AzureDataEngineering #DataEngineer #ADF #Databricks #MedallionArchitecture #PowerBI #DataAnalyst #DataScience #Azure #ETL #DataPipeline #CloudComputing #DataTutorial #DP203
⚠️ **ОТКАЗ ОТ ОТВЕТСТВЕННОСТИ**: Microsoft Azure и Power BI являются товарными знаками корпорации Microsoft. Это неофициальный контент Microsoft.