Перейти к содержимому

Инструкция по ksqlDB: Разделение и слияние тем Kafka.

Robin Moffatt

0:00 / 0:00

Инструкция по ksqlDB: Разделение и слияние тем Kafka.

3 920 просмотров · 5 л. назад
Robin Moffatt
4,4 тыс. подписчиков
3 920 просмотров · 5 л. назад
Используя ksqlDB, вы можете разделять потоки данных в Apache Kafka на основе значений в поле. Вы также можете объединять отдельные потоки данных в один. ksqlDB использует SQL для описания обработки потока, которую вы хотите выполнить. Например: Разделение потока: CREATE STREAM ORDERS_UK AS SELECT * FROM ORDERS WHERE COUNTRY='UK'; CREATE STREAM ORDERS_OTHER AS SELECT * FROM ORDERS WHERE COUNTRY!='UK'; Объединение потоков: CREATE STREAM INVENTORY_COMBINED AS SELECT 'WH1' AS SOURCE, * FROM INVENTORY_WH1; CREATE STREAM INVENTORY_COMBINED AS SELECT 'WH2' AS SOURCE, * FROM INVENTORY_WH2; ----- 💾 Запустите ksqlDB самостоятельно: https://ksqldb.io?utm_source=youtube&... ☁️ Используйте ksqlDB как управляемый сервис: https://www.confluent.io/confluent-cl... 👾 Демо-код: https://github.com/confluentinc/demo-... 🤔 Вопросы? Присоединяйтесь к сообществу Confluent по ссылке https://confluent.io/community/ask-th... ----- ⏱ Таймкоды 00:00:00 Введение 00:00:36 Отображение тем в Confluent Control Center 00:00:41 Просмотр сообщений в теме в Confluent Control Center 00:01:28 Создание потока ksqlDB для существующих тем в Apache Kafka 00:02:05 Запрос к потоку в ksqlDB из Confluent Control Center 00:02:47 Объединение потоков данных в ksqlDB 00:03:18 Создание целевого потока с помощью CREATE ПОТОК 00:03:41 Добавление полей метаданных 00:03:49 Создание уникальных полей путем конкатенации значений 00:04:13 Установка ключа секционирования 00:04:33 Добавление новых потоков в целевой поток с помощью INSERT INTO 00:05:24 Просмотр выполняющихся запросов ksqlDB с помощью Confluent Control Center 00:05:53 Запрос к объединенному потоку 00:06:27 Объединение потоков — краткий обзор 00:07:08 Разделение темы Kafka на отдельные потоки с помощью ksqlDB 00:09:00 Разделение потока — краткий обзор