Apache Iceberg для начинающих: создание Lakehouse где угодно (при участии MinIO)

Apache Iceberg для начинающих: что такое хранилище данных (data lakehouse), как работают таблицы Iceberg и REST-каталог Iceberg, и как запустить высокопроизводительное хранилище данных в облачной, локальной или гибридной инфраструктуре. В этом вебинаре Бренна Буук, евангелист-разработчик в MinIO и инженер по данным с 11-летним опытом, расскажет об основах создания платформ данных Apache Iceberg, основываясь на своем опыте работы с командами, использующими хранилища данных Iceberg в производственной среде. Свяжитесь с Бренной Буук LinkedIn:   / brennabuuck   X: https://x.com/BrennaBuuck Что вы узнаете Три уровня хранилища данных (data lakehouse): объектное хранилище, формат открытых таблиц (Apache Iceberg, Delta Lake, Apache Hudi) и механизм запросов, каждый из которых независим от других Чем хранилище данных отличается от хранилища данных и озера данных Как Apache Iceberg обрабатывает эволюцию схемы, скрытое секционирование и независимость механизма запросов Как файлы метаданных Iceberg, списки манифестов и манифесты позволяют механизмам запросов пропускать файлы Почему объектное хранилище находится на критически важном пути производительности для запросов Iceberg Как REST-каталог Iceberg отслеживает снимки, обеспечивает перемещение во времени и обрабатывает одновременную запись Что нового в Iceberg v3: векторы удаления, родословная строк, типы вариантов и геопространственные типы Три способа запуска каталога Iceberg: автономный (Project) Nessie (AWS Glue), встроенный в объектное хранилище и федеративный (Unity Catalog, Apache Polaris, Apache Gravitino) Вопросы, на которые даны ответы в этой сессии: Что такое Apache Iceberg? Открытый формат таблиц, который добавляет гарантии транзакций, эволюцию схемы и скрытое секционирование к файлам данных в объектном хранилище, позволяя таким движкам, как Spark, Trino, Snowflake и DuckDB, читать и записывать в одну и ту же таблицу. Как Iceberg обрабатывает одновременную запись? С помощью оптимистической параллельности. Записывающие устройства создают файлы данных параллельно, и каждый коммит представляет собой атомарную замену указателя метаданных. Если другой записывающий устройство сделает коммит первым, повторная попытка коммита будет выполнена для нового снимка, поэтому ничего не будет повреждено или перезаписано. Стоит ли небольшой команде запускать Iceberg в облаке, локально или в гибридной среде? Это зависит от того, где сегодня хранятся данные, от требований соответствия и суверенитета, а также от ожидаемого роста. Бренна отмечает, что при объеме часто используемых данных в несколько петабайт локальное развертывание зачастую оказывается дешевле облачного только по себестоимости. Кэширует ли MinIO данные для ускорения запросов Iceberg? MinIO предлагает уровень кэширования, а также помогают кэши механизмов запросов, такие как Dremio Reflections. В тестах Iceberg от MinIO узким местом обычно является механизм запросов, а не хранилище. Куда движется экосистема Iceberg? Функционал Delta Lake и Iceberg сближается, что видно по векторам удаления v3 и отслеживанию происхождения строк, а инвестиции во встроенные каталоги растут. Ресурсы OLake: https://olake.io OLake на GitHub: https://github.com/datazip-inc/olake Присоединяйтесь к сообществу OLake в Slack: https://olake.io/slack/ Об OLake OLake — это инструмент с открытым исходным кодом для репликации баз данных, Kafka и S3 в Apache Iceberg, а также для обслуживания таблиц Iceberg, таких как компактирование и очистка метаданных.