Advancing Spark — Лента изменений Databricks Delta

Функция Databricks Change Feed позволяет осуществлять CDC (Change Data Capture) — захват изменений данных — в среде Spark, что является огромным преимуществом. Отслеживание измененных записей может быть крайне неэффективным процессом, требующим сравнения огромного количества записей для определения того, какие из них были изменены событиями из вышестоящих источников. С помощью функции отслеживания изменений в дельта-таблицах мы можем эффективно отслеживать, какие именно записи изменились! В этом видео Саймон рассматривает первоначальную версию, анализируя работу функции отслеживания изменений, что происходит в журнале транзакций и как начать использовать CDC в вашем озере данных! Более подробную информацию о новой функциональности функции отслеживания изменений можно найти в документации здесь: https://docs.microsoft.com/en-us/azur... Как всегда, не забудьте поставить лайк и подписаться, и свяжитесь с нами, если вам нужна помощь в решении ваших задач в области расширенной аналитики!