Обработка ошибок с помощью очереди недоставленных сообщений (Dead Letter Queue) в Apache Kafka

В этом видео я подробно рассматриваю важную тему обработки ошибок в конвейерах потоковой обработки данных с использованием Apache Kafka. Вы узнаете о возможностях очередей недоставленных сообщений (DLQ) и о лучших практиках реализации надежной обработки ошибок в вашей инфраструктуре Kafka. Я рассматриваю несколько подходов, включая: Пользовательские реализации DLQ Kafka Streams и Kafka Connect Реальные примеры из практики Uber, Santander Bank и Robinhood Независимо от того, создаете ли вы ETL-конвейеры, системы обнаружения мошенничества в реальном времени или масштабируемые приложения для обработки данных, освоение обработки ошибок гарантирует надежность и отказоустойчивость вашей архитектуры потоковой обработки данных. Содержание: 00:00 - Введение 00:29 - Очередь недоставленных сообщений (Dead Letter Queue) 01:22 - Очередь недоставленных сообщений и Apache Kafka 03:09 - Контракты данных с реестром схем (Schema Registry) 05:36 - Очередь недоставленных сообщений в Kafka Connect 07:06 - Очередь недоставленных сообщений в Kafka Streams 07:30 - Потребление данных из очереди недоставленных сообщений 10:05 - Примеры из реальной жизни для очередей недоставленных сообщений Kafka 11:43 - Оставайтесь на связи Не забудьте поставить лайк, оставить комментарий и подписаться, чтобы получать больше подробного контента о потоковой передаче данных. Поделитесь своими мыслями или вопросами в комментариях ниже! Более подробная информация об обработке ошибок в Apache Kafka и примеры успешных примеров из реальной жизни: https://www.kai-waehner.de/blog/2022/... Оставайтесь на связи: Блог: https://www.kai-waehner.de LinkedIn:   / kaiwaehner   X (Twitter):   / kaiwaehner   Рассылка новостей: https://kai-waehner.de/news