CDC нового поколения: потоковая передача данных из Postgres с помощью Estuary

Технология отслеживания изменений данных (Change Data Capture, CDC) имеет репутацию сложной, но это не обязательно так. В этом видео я подробно объясню, что такое CDC (подсказка: это просто журнал предварительной записи вашей базы данных, отслеживаемый в режиме реального времени, без дополнительных запросов), а затем покажу полную практическую настройку с использованием Estuary для потоковой передачи изменений из локальной базы данных Postgres непосредственно в MotherDuck. Это видео спонсируется компанией Estuary, моим новым контент-партнером. Мы будем вместе снимать больше видео, посвященных CDC и потоковой передаче данных, так что, если вас интересует эта тема, оставайтесь с нами. https://estuary.dev/ Что мы рассмотрим: Что такое захват изменений данных (Change Data Capture) и почему он лучше, чем пакетное создание снимков Как CDC читает внутренний журнал базы данных (WAL Postgres / binlog MySQL) вместо того, чтобы запрашивать его Настройка локального экземпляра Postgres с помощью Docker Compose, который непрерывно передает данные Использование ngrok для предоставления доступа к локальному экземпляру Postgres для подключения Estuary Настройка захвата данных Postgres с помощью Estuary от начала до конца Материализация захваченных данных в MotherDuck Наблюдение за вставками в MotherDuck в реальном времени, прямо из локального журнала Postgres Временные метки: 0:00 – Что такое захват изменений данных? 1:01 – Пакетные снимки данных против CDC (объяснение логов предварительной записи и бинарных логов) 1:52 – Представляем сегодняшнего спонсора: Estuary 2:56 – Рассматриваем пример захвата данных из Postgres в Estuary 3:59 – Настройка ngrok для локального туннеля Postgres 4:22 – Запуск локального Postgres с помощью Docker Compose 6:05 – Создание захвата данных Estuary из Postgres 9:00 – Тестирование, сохранение и публикация захвата 10:09 – Настройка материализации MotherDuck 12:50 – Тестирование и публикация материализации 13:50 – Запрос данных в режиме реального времени в MotherDuck 15:12 – Подведение итогов и планы на будущее Estuary Ссылки: Пример захвата данных из Postgres в Estuary (GitHub): https://github.com/estuary/examples/t... Мое руководство по настройке с дополнительными «подводными камнями», не рассмотренными в репозитории: https://github.com/early-signal-tech/... Мои ссылки: Substack: https://thefulldatastack.substack.com/ LinkedIn:   / hoytemerson   X: https://x.com/HoytEmerson Моя контент-компания: https://www.earlysignal.tech/ Если вам понравилось это видео, пожалуйста, поставьте лайк и подпишитесь — скоро появятся новые видео с Estuary о CDC и потоковых конвейерах. Вы также можете посмотреть предстоящие прямые трансляции с командой Estuary о Substack и X, ссылки на которые приведены ниже.