ksqlDB HOWTO: Фильтрация данных

Используя ksqlDB, вы можете фильтровать потоки данных в Apache Kafka и записывать новые темы в Kafka, заполняемые подмножеством данных из другой темы. ksqlDB использует SQL для описания обработки потока данных, которую вы хотите выполнить. С помощью предложения WHERE вы можете определить предикаты для фильтрации данных по вашему требованию. Например: CREATE STREAM ORDERS_NY AS SELECT * FROM ORDERS WHERE ADDRESS_STATE='New York'; ----- 💾 Запустите ksqlDB самостоятельно: https://ksqldb.io?utm_source=youtube&... ☁️ Используйте ksqlDB как управляемый сервис: https://www.confluent.io/confluent-cl... 👾 Демо-код: https://github.com/confluentinc/demo-... 🤔 Вопросы? Присоединяйтесь к сообществу Confluent по ссылке https://confluent.io/community/ask-th... ----- ⏱ Таймкоды 00:00:00 Вступление 00:00:27 Отображение списка тем в кластере Kafka в ksqlDB 00:00:53 Потребление данных из темы Kafka с помощью ksqlDB с использованием PRINT 00:01:44 Создание потока в ksqlDB для существующей темы с использованием схемы Avro 00:02:20 Отображение схемы потока ksqlDB с помощью DESCRIBE 00:02:33 Вложенные объекты в ksqlDB 00:02:47 Запрос к потоку в ksqlDB 00:03:16 Доступ к вложенным полям в ksqlDB 00:03:29 Фильтрация в ksqlDB 00:04:09 Использование предикатов в ksqlDB 00:04:35 Сохранение непрерывного вывода запроса в новый поток 00:04:53 CREATE STREAM … AS SELECT 00:05:20 Изменение auto.offset.reset в ksqlDB 00:06:13 Создание отфильтрованного потока в ksqlDB 00:06:20 Изменение свойств целевой темы (имя, количество разделов и т. д.) 00:07:06 Просмотр свойств отфильтрованной темы 00:07:27 Просмотр схемы нового потока 00:07:41 Просмотр исходной и отфильтрованной тем вместе 00:08:39 Краткий обзор и резюме