Комплексный проект по разработке банковских данных в Azure | ADLS Gen2 + Databricks + PySpark + U...

Проект комплексной разработки банковских данных на Azure Набор данных - https://drive.google.com/drive/folder... Документация проекта - https://drive.google.com/drive/folder... В этой серии проектов мы создадим реальный конвейер разработки банковских аналитических данных с использованием Microsoft Azure, Databricks, PySpark, Delta Lake и Unity Catalog. Мы возьмем банковские данные из необработанных CSV-файлов и построим полную архитектуру «бронзовый → серебряный → золотой медальон» для аналитики и бизнес-аналитики. Используемые технологии ✅ Azure Data Lake Storage Gen2 (ADLS Gen2) ✅ Azure Databricks ✅ Databricks Unity Catalog ✅ PySpark ✅ Delta Lake ✅ Azure Synapse Analytics ✅ Azure Resource Group ✅ Архитектура Bronze, Silver и Gold ✅ Преобразование и очистка данных ✅ Агрегация бизнес-данных ✅ Аналитика Customer 360 ✅ Анализ мошенничества ✅ Анализ кредитного портфеля ✅ Анализ транзакций Банковские наборы данных В проекте используются 10 банковских наборов данных: Клиенты Счета Транзакции Кредиты Кредитные карты Филиалы Сотрудники Транзакции мошенничества Страховые продукты Заявки в службу поддержки клиентов Архитектура проекта CSV-файлы → ADLS Gen2 Raw → Databricks Bronze → Silver Преобразования → Бизнес-аналитика уровня «Золото» На уровне «Бронза» мы импортируем банковские наборы данных в формат Delta. На уровне «Серебряный» мы выполняем очистку данных, стандартизацию, дедупликацию, обогащение и преобразования, связанные с бизнесом, используя PySpark. На уровне «Золото» мы создаем готовые к аналитике наборы данных, такие как: 📌 Обзор клиента (Customer 360) 📌 Производительность филиалов 📌 Анализ кредитного портфеля 📌 Анализ мошенничества 📌 Ежедневные тенденции транзакций 📌 Показатели поддержки клиентов 📌 Ежемесячный финансовый отчет 📌 Производительность сотрудников 📌 Анализ перекрестных продаж продуктов Этот проект разработан, чтобы помочь инженерам данных, инженерам данных Azure, разработчикам Databricks и начинающим понять, как реализуется комплексный проект по проектированию облачных данных. 👍 Поставьте лайк видео 🔔 Подпишитесь, чтобы получать больше проектов по Azure Data Engineering и Databricks 💬 Оставляйте свои вопросы и темы проектов, которые вы хотели бы увидеть в следующих видео! #AzureDataEngineering #Databricks #PySpark #ADLSGen2 #UnityCatalog #DeltaLake #DataEngineering #Azure #BankingAnalytics #MedallionArchitecture #AzureDatabricks #DataEngineer #CloudDataEngineering #Spark #BigData