V2c — Что такое Change Data Capture (CDC) 1

Технология захвата изменений данных (CDC) передает каждое изменение в вашей базе данных Postgres в Kafka или Kinesis, поэтому вашим аналитикам никогда не придется работать в производственной среде. Направление вашей аналитической команды на основную базу данных RDS Postgres означает, что их отчеты конкурируют с потоком заказов. Postgres уже записывает каждую запись в свой журнал предварительной записи для восстановления после сбоев, а инструменты CDC, такие как Debezium и AWS DMS, считывают этот журнал и передают его. Проблема заключается в слоте репликации, который, если его не контролировать, может заполнить дисковое пространство и привести к сбою базы данных. В этом видео показано, как работает конвейер и где возникают ошибки. 📚 Что вы узнаете: 1️⃣ Почему предоставление аналитикам прямого доступа к PostgreSQL в производственной среде вредит вашему приложению и вашей безопасности 2️⃣ Что хранит журнал предварительной записи и почему только wal_level = logical дает CDC полную картину 3️⃣ Как Debezium или AWS DMS считывают WAL и передают изменения в Kafka или Kinesis 4️⃣ Как слоты репликации позволяют CDC возобновить работу после сбоя и как неработающий коннектор заполняет ваш диск 🚨 Изучайте DevOps и облачные технологии с KodeKloud: https://kode.wiki/3TDrOPK ⏰ Временные метки: 00:00 - Что такое захват изменений данных (CDC)? 00:30 - Зачем нам нужен CDC? 01:58 - Уровни WAL: минимальный, репликационный и логический 04:40 - Debezium и AWS DMS считывают WAL 06:30 - Слоты репликации: как CDC возобновляет работу после сбоя 07:20 - Палка о двух концах: когда WAL заполняет ваш диск 07:50 - Примеры использования CDC 08:40 - Kafka и Kinesis как центр для конечных потребителей 09:17 - Заключение 🔔 Подпишитесь, чтобы получать больше объяснений по инженерии данных и потоковой передаче в реальном времени #ChangeDataCapture #CDC #PostgreSQL #KodeKloud #DataEngineering #Debezium #ApacheKafka #AWSKinesis #AWSDMS #WriteAheadLog #RealTimeData #DataPipeline #StreamingData #AWS #DataWarehouse