Жаль, что никто не объяснил Apache Kafka и Apache Flink именно так!

Apache Kafka против Apache Flink: они не соперники. Kafka ПОМНИТ. Flink РЕАГИРУЕТ. Kafka — это надежный журнал, который хранит каждое событие. Flink — это потоковый процессор, который обрабатывает каждое событие по мере его поступления. Большинство систем реального времени используют оба подхода. Правильная ментальная модель менее чем за 5 минут, а не углубленный анализ. Вы узнаете: • Почему пакетная обработка может отставать на час, и что меняет потоковая обработка • Kafka: темы, разделы и смещения, почему события с одинаковыми ключами остаются в порядке и как группы потребителей масштабируют чтение • Flink: операторы, ключевое состояние, временные окна и водяные знаки, и как контрольные точки позволяют прерванному заданию возобновить работу с того места, где оно остановилось • Вместе: как Flink фиксирует свой прогресс с помощью выходных данных, поэтому каждое событие учитывается ровно один раз, даже при сбое • Почему ответ на вопрос «Kafka или Flink?» Обычно используется и то, и другое: один хранит и обрабатывает события, другой занимается обработкой информации. Разделы 0:00 Введение — крайний срок в 200 мс 0:30 Проблема пакетной обработки (почему «позже» недостаточно) 0:57 Что такое Kafka? (надежный журнал) 1:38 Kafka в действии (темы, разделы, смещения) 2:18 Что такое Flink? (процессор потоков) 2:56 Flink в действии (окна, водяные знаки, контрольные точки) 3:49 Kafka + Flink вместе (точно один раз) 4:20 Итоги + что дальше Какой раздел вы хотите, чтобы я рассмотрел следующим: разделы, водяные знаки или точно один раз? Напишите в комментариях. Apache Kafka® и Apache Flink® являются товарными знаками Apache Software Foundation и используются здесь только для обозначения технологий. Не связаны с ASF и не одобрены ею. #ApacheKafka #ApacheFlink #ПотоковаяОбработка #ДанныеВРеальномВремя — ByteShip – У каждой системы своя история.    / @byteshipdev   #ByteShip