Создайте локальный Data Lakehouse с помощью Apache Iceberg | Nessie | MinIO | Lakehouse
BI Insights Inc
0:00 / 0:00
Создайте локальный Data Lakehouse с помощью Apache Iceberg | Nessie | MinIO | Lakehouse
14 673 просмотра · 2 г. назад
BI Insights Inc
19,8 тыс. подписчиков
14 673 просмотра · 2 г. назад
В этом видео мы расскажем о хранилище данных. Оно сочетает в себе элементы как озер данных, так и хранилищ данных, объединяя их преимущества. Его цель — предоставить унифицированную платформу для хранения, управления и анализа как неструктурированных, так и структурированных данных.
Что такое озеро данных? https://aws.amazon.com/big-data/datal...
Ссылка на репозиторий GitHub: https://github.com/hnawaz007/pythonda...
Ссылка на видео Data Lake:
Локальная версия: • How to build on-premise Data Lake? | Build...
AWS: • How to create an AWS S3 Data Lake? | AWS S...
💥Подпишитесь на наш канал:
/ haqnawaz
📌 Ссылки
-----------------------------------------
#️⃣ Подписывайтесь на меня в социальных сетях! #️⃣
🔗 GitHub: https://github.com/hnawaz007
📸 Instagram: / bi_insights_inc
📝 LinkedIn: / haq-nawaz
🔗 / hnawaz100
-----------------------------------------
#dataanalytics #datalakehouse #opensource
Темы, рассматриваемые в этом видео:
==================================
0:00 - Введение в Data Lakehouse
0:53 - Основные особенности Data Lakehouse
1:50 - Data Lake из предыдущего видео
2:31 - Обзор Data Lakehouse
3:34 - Технологический стек локальных данных Lakehouse
3:44 — Запуск Docker-контейнеров
4:02 — Контейнеры, файлы и ключи MinIO (S3)
4:56 — Настройка Dremio
5:07 — Добавление источника MinIO (S3)
5:57 — Добавление каталога Nessie
6:38 — Форматирование файла
7:33 — Создание таблицы Iceberg
7:59 — Копирование данных в таблицу
8:35 — Операции SQL DML
9:47 — История таблиц и перемещение во времени
10:29 — Скоро