Advancing Spark: отслеживание происхождения данных с помощью Unity Catalog

Отслеживание зависимостей и происхождения данных в рамках системы Lakehouse — давняя задача многих команд, инструментов и поставщиков, но добиться правильного результата непросто! Unity Catalog недавно выпустил функциональность отслеживания происхождения данных в публичный предварительный просмотр, так что пришло время взглянуть на нее и оценить ее эффективность! В этом видео Саймон открывает свою рабочую область с поддержкой Unity Catalog и создает несколько взаимозависимых таблиц, отслеживая объекты происхождения, которые создаются в результате в Unity Catalog! Чтобы начать работу с отслеживанием происхождения данных, ознакомьтесь с документацией здесь: https://docs.databricks.com/data-gove... И как всегда, если вы только начинаете работу с Lakehouse, свяжитесь с Advancing Analytics, чтобы значительно улучшить свою платформу!