TableFlow: материализация топиков Apache Kafka® в таблицы Apache Iceberg™ и Delta Lake без ETL

Статья в блоге: https://cnfl.io/4hNOPFn | Тим Берглунд снова за световой панелью, чтобы показать вам самую захватывающую вещь, которую он видел в аналитике за последние 40 лет (нет, это не преувеличение): Tableflow, новая функция в Confluent Cloud, которая позволяет полностью обойтись без ETL и сделать данные из ваших тем Apache Kafka® доступными в виде таблиц в вашем озере данных. В этом видео Тим подробно рассказывает о том, как работает Tableflow и почему это так важно — никакого копирования данных, никаких этапов преобразования, только собственные открытые форматы таблиц, такие как Apache Iceberg™ и Delta Lake, прямо поверх ваших данных Kafka. Попутно он объясняет, как мы к этому пришли (подсказка: это связано с эволюцией хранилища данных и огромным количеством борьбы со схемами и конвейерами на протяжении многих лет) и как Tableflow устраняет разрыв между операционными и аналитическими системами, исключая ненужное перемещение данных. Тим также объясняет, как Apache Flink® помогает очищать и подготавливать данные на этапе подготовки. Если вы работаете с Kafka и современными хранилищами данных, это один из тех инструментов, которые вам, вероятно, пригодятся. СВЯЗАННЫЕ РЕСУРСЫ ► Анонс Tableflow: https://cnfl.io/4hNOPFn ► Страница продукта Tableflow: https://cnfl.io/4iXBGe2 ► Обзор функций Tableflow: https://cnfl.io/423dEaR ► Попробуйте Confluent Cloud бесплатно: https://cnfl.io/440ZU2C РАЗДЕЛЫ 00:00 – Введение в Tableflow 00:35 – Хранилища данных: классическая эпоха 02:50 – Расцвет распределенных озер данных 05:00 – ELT против ETL и возвращение схемы 06:40 – Появление открытых форматов таблиц 08:00 – Разделение хранения и вычислений в облаке 08:45 – Как данные попадают в озеро сегодня (Kafka) 10:00 – Стоимость копирования данных и Потеря контекста 11:20 – Как работает Tableflow: темы Kafka в качестве таблиц 13:05 – Как Tableflow использует Schema Registry 14:00 – Сдвиг преобразования данных и очистки влево с помощью Flink 15:45 – Попробуйте Tableflow в Confluent Cloud бесплатно ПОДКЛЮЧИТЬСЯ Подпишитесь, если осмелитесь: https://www.youtube.com/@ConfluentDev... Сообщество Slack: https://confluentcommunity.slack.com X: https://x.com/confluentinc Linkedin:   / confluent   GitHub: https://github.com/confluentinc Сайт: https://developer.confluent.io О CONFLUENT DEVELOPER Confluent Developer предоставляет исчерпывающие ресурсы для разработчиков, желающих узнать об Apache Kafka®, Apache Flink®, Confluent Cloud, Confluent Платформа и любые другие технологии, связанные с более широкой платформой потоковой передачи данных. Контент на Confluent Developer включает курсы, руководства по началу работы, тематические обзоры, шаблоны, учебные пособия и списки мероприятий сообщества. Узнайте больше на https://developer.confluent.io. #tableflow #apachekafka #kafka #confluent