Учебник по Databricks Auto Loader | PySpark и загрузка данных Bronze (Часть 2) - queryzens

🚀 Создайте реальный проект по обработке данных с помощью Databricks | Часть 2: Многоисточниковая загрузка данных Bronze и автозагрузчик Ссылка на код на Github - https://github.com/queryzens/databric... Плейлист проекта -    • Retail Databricks Project from Scratch   В этом эпизоде ​​нашего пошагового руководства по проекту Databricks мы создадим ориентированный на производство конвейер загрузки данных Bronze, используя Databricks Auto Loader, PySpark, Delta Lake и Unity Catalog. Реальные проекты по обработке данных редко работают с одним источником данных. Данные могут поступать в разных форматах, например, вложенные JSON из системы заказов, файлы Parquet из базы данных клиентов и CSV-файлы из каталога товаров. В этом уроке вы узнаете, как импортировать данные из различных источников в слой Bronze архитектуры Medallion, сохраняя при этом исходные данные и отслеживая метаданные импорта. 💡 Что вы узнаете из этого видео: ✅ Что такое слой Bronze в архитектуре Databricks Medallion? ✅ Почему следует использовать Auto Loader вместо многократного чтения всего каталога? ✅ Как использовать `cloudFiles` для инкрементальной загрузки файлов ✅ Как загружать вложенные данные JSON с помощью PySpark Structured Streaming ✅ Как читать данные о клиентах в формате Parquet и данные о продуктах в формате CSV ✅ Как использовать `cloudFiles.schemaLocation` для отслеживания схемы ✅ Как использовать `trigger(availableNow=True)` для инкрементальной пакетной обработки ✅ Как добавить столбцы аудита, такие как `_ingested_at` и `_source_file` ✅ Как записывать необработанные данные в таблицы Bronze Delta ✅ Как проверить историю таблиц Delta Lake 🛠️ Рассматриваемые технологии: Databricks Apache Spark и PySpark Databricks Auto Loader (`cloudFiles`) Delta Lake Unity Catalog Structured Streaming Medallion Architecture Загрузка данных и данные родословная 📚 Дорожная карта серии проектов Часть 1: Unity Catalog и Medallion Architecture Foundation Часть 2: Многоисточниковая загрузка Bronze и автозагрузчик Часть 3: Сглаживание вложенных JSON с помощью `explode()` и обработка дубликатов с помощью составного ключа `MERGE INTO` 🎯 Кому следует посмотреть этот урок? Эта серия предназначена для начинающих инженеров данных, работающих специалистов, готовящихся к собеседованиям по инженерии данных, и всех, кто изучает, как создавать реальные конвейеры обработки данных с использованием Databricks и PySpark. 🔔 Подпишитесь, чтобы получать больше практических уроков по Databricks, PySpark, Apache Spark, SQL, проектам по инженерии данных и подготовке к собеседованиям. 💬 Вопрос к вам: Использовали ли вы автозагрузчик Databricks в реальном проекте или до сих пор используете `spark.read` для загрузки файлов? Поделитесь своим опытом в комментариях! #Databricks #PySpark #DataEngineering -------------------------------------------- QueryZens - Подписывайтесь, ставьте лайки, делитесь и оставляйте комментарии Мое оборудование: Macbook Neo - https://link.amazon/B074yKceC Чехол для ноутбука и клавиатуры Macbook Neo (защитный) - https://link.amazon/B05TfxxlD Монитор Samsung Odyssey G5 - https://link.amazon/B0fFX9c7l Беспроводная мышь Offbeat - https://link.amazon/B0b83kjXw Микрофон Hollyland Lark a1 - https://link.amazon/B0aGarB4e Беспроводная клавиатура Portronics Bubble - https://dl.flipkart.com/s/giKfavuuuN