Сквозная разработка современного распределенного Data Lakehouse с использованием Apache Iceberg, ...

Полное видео доступно здесь:    • End to End Modern Distributed Data Lakehou...   В этом практическом проекте мы создадим с нуля современное распределенное хранилище данных, используя передовые технологии с открытым исходным кодом: Apache Iceberg, Trino, Airflow, DBT, MinIO и Project Nessie. Этот комплексный проект по проектированию и настройке данных проведет вас через все этапы проектирования, настройки и запуска полностью функционального хранилища данных, предоставляя практические знания о распределенных системах, оркестровке конвейеров данных, оптимизации запросов и современных передовых методах работы с хранилищами данных. Что вы узнаете в этом проекте: ✅ Высокоуровневая архитектура современного хранилища данных (data lakehouse) ✅ Основы и настройка Apache Iceberg ✅ Распределенный кластер Trino (архитектура master-worker) ✅ Оркестрация данных с помощью Apache Airflow ✅ Преобразования с помощью DBT (архитектура Medallion) ✅ Интеграция объектного хранилища с MinIO ✅ Версионированные метаданные с помощью Project Nessie ✅ Оптимизация запросов Trino и настройка производительности Если вы хотите освоить хранилища данных и современную инженерию данных, этот проект обязателен к просмотру. 👉 Не забудьте поставить лайк, поделиться и подписаться, чтобы получать больше проектов по инженерии данных от начала до конца! Временные метки: 0:00 Введение 1:02 Обзор высокоуровневой системной архитектуры 12:00 Что такое Apache Iceberg? 24:00 Настройка распределенного хранилища данных с нуля 40:15 Конвейер DAG Apache Airflow 1:46:10 Настройка проекта DBT с архитектурой Medallion 1:30:55 Оптимизация кластера Trino 1:32:37 Механизм запросов Trino с DataGrip 1:41:17 Результаты и обсуждение 1:55:00 Заключение Ресурсы: Полный исходный код: https://buymeacoffee.com/yusuf.ganiyu... Хэштеги 🌟 #ApacheIceberg #Trino #Airflow #DBT #MinIO #DataEngineering #MordernDataLakehouse #BigData #DistributedSystems #ETL