Инструкция по ksqlDB: Разделение и слияние тем Kafka.
Robin Moffatt
0:00 / 0:00
Инструкция по ksqlDB: Разделение и слияние тем Kafka.
3 920 просмотров · 5 л. назад
Robin Moffatt
4,4 тыс. подписчиков
3 920 просмотров · 5 л. назад
Используя ksqlDB, вы можете разделять потоки данных в Apache Kafka на основе значений в поле. Вы также можете объединять отдельные потоки данных в один.
ksqlDB использует SQL для описания обработки потока, которую вы хотите выполнить. Например:
Разделение потока:
CREATE STREAM ORDERS_UK
AS SELECT * FROM ORDERS WHERE COUNTRY='UK';
CREATE STREAM ORDERS_OTHER
AS SELECT * FROM ORDERS WHERE COUNTRY!='UK';
Объединение потоков:
CREATE STREAM INVENTORY_COMBINED
AS SELECT 'WH1' AS SOURCE, * FROM INVENTORY_WH1;
CREATE STREAM INVENTORY_COMBINED
AS SELECT 'WH2' AS SOURCE, * FROM INVENTORY_WH2;
-----
💾 Запустите ksqlDB самостоятельно: https://ksqldb.io?utm_source=youtube&...
☁️ Используйте ksqlDB как управляемый сервис: https://www.confluent.io/confluent-cl...
👾 Демо-код: https://github.com/confluentinc/demo-...
🤔 Вопросы? Присоединяйтесь к сообществу Confluent по ссылке https://confluent.io/community/ask-th...
-----
⏱ Таймкоды
00:00:00 Введение
00:00:36 Отображение тем в Confluent Control Center
00:00:41 Просмотр сообщений в теме в Confluent Control Center
00:01:28 Создание потока ksqlDB для существующих тем в Apache Kafka
00:02:05 Запрос к потоку в ksqlDB из Confluent Control Center
00:02:47 Объединение потоков данных в ksqlDB
00:03:18 Создание целевого потока с помощью CREATE ПОТОК
00:03:41 Добавление полей метаданных
00:03:49 Создание уникальных полей путем конкатенации значений
00:04:13 Установка ключа секционирования
00:04:33 Добавление новых потоков в целевой поток с помощью INSERT INTO
00:05:24 Просмотр выполняющихся запросов ksqlDB с помощью Confluent Control Center
00:05:53 Запрос к объединенному потоку
00:06:27 Объединение потоков — краткий обзор
00:07:08 Разделение темы Kafka на отдельные потоки с помощью ksqlDB
00:09:00 Разделение потока — краткий обзор