Microsoft Fabric: Инкрементальный ETL для хранилища данных с использованием Dataflow Gen 2, SQL-п...

В этом видео мы рассмотрим способы выполнения инкрементальной ETL (загрузки данных) с использованием Dataflow Gen2, SQL-процедур и конвейера данных в хранилище данных. Использована процедура чтения и записи SQL-запросов в хранилище данных. 00:00 Обзор инкрементальной ETL 10:00 Создание хранилища данных и загрузка данных 26:00 В чем проблема и как ее решить 33:00 Загрузка данных с помощью SQL-процедуры 36:30 Создание конвейера 30:00 Инкрементальная загрузка данных CREATE TABLE [dbo].[incr_info] ( [tablename1] [varchar](4000) NULL, [collectdate] [datetime2](6) NULL ) insert into [dbo].[incr_info] values('sales', '2018-01-01'); CREATE TABLE dbo.sales_stg ( order_no bigint, item_id bigint, sales_date datetime2(6), customer_id bigint, city_id bigint, qty float, price float, cogs float, discount_percent float ) ; CREATE TABLE dbo.sales ( order_no bigint, item_id bigint, sales_date datetime2(6), customer_id bigint, city_id bigint, qty float, price float, cogs float, discount_percent float ) ; CREATE PROCEDURE dbo.loadSales AS BEGIN insert into dbo.sales( order_no , item_id , sales_date , customer_id , city_id , qty , price , cogs , discount_percent ) select A.* from (select order_no , item_id , sales_date , customer_id , city_id , qty , price , cogs , discount_percent from dbo.sales_stg ) A left Join dbo.sales f on a.order_no = f.order_no where f.order_no is null ; update dbo.incr_info set collectdate = (select max(sales_date ) from dbo.sales_stg) where tablename1 = 'sales'; Конец Ссылка на файл GIT - https://github.com/amitchandakpbi/pow... Все файлы: https://github.com/amitchandakpbi/ Power BI - Azure Free Tier, создание Azure Data Lake Gen 2 и подключение его к Power BI:    • Power BI: Connect with Azure Data Lake Gen...   Получение Azure SQL DB и его настройка в Power BI:    • Abstract Thesis 93: Power BI- Get Azure SQ...   Официальная документация: https://learn.microsoft.com/en-us/fab... Видео от GuyinaCube:    • Microsoft Fabric Launch: Unified Data Plat...   Приобретение подписки Microsoft Fabric: https://learn.microsoft.com/en-us/fab... SKU: https://learn.microsoft.com/en-us/fab... Лицензии: https://learn.microsoft.com/en-us/fab... Включить Fabric: https://learn.microsoft.com/en-us/fab... 🔵 Что такое Microsoft Fabric Microsoft Fabric — это комплексное аналитическое решение для предприятий, охватывающее все аспекты, от перемещения данных до анализа данных, аналитики в реальном времени и бизнес-аналитики. Оно предлагает полный набор сервисов, включая озеро данных, проектирование данных и интеграцию данных, — все в одном месте. С Fabric вам не нужно собирать воедино различные сервисы от разных поставщиков. Вместо этого вы можете воспользоваться высокоинтегрированным, комплексным и простым в использовании продуктом, разработанным для упрощения ваших аналитических задач. Подробности о включении Fabric: https://learn.microsoft.com/en-us/fab... Подробная информация о лицензиях Microsoft Fabric: https://learn.microsoft.com/en-us/fab... Не забудьте поставить лайк, оставить комментарий и подписаться на канал, чтобы получать больше полезного контента! ▶️Подпишитесь, пожалуйста:    / @amitchandak   ▶️Данные: • COVID-19: https://covid19.who.int/WHO-COVID-19-... • Получите данные и файлы Pbix на Github: https://github.com/amitchandakpbi/pow... • Файлы Dropbox: https://www.dropbox.com/sh/90ycq7hpmn... --------- ▶️Подписывайтесь на меня в: • Medium:   / amitchandak   • Twitter:   / amitchandak78   • LinkedIn:   / amitchandak78   --------- ▶️Мои другие видео: • Освоение Power BI:    • Power BI for Beginners 1: Loading Data, Cr...   • Экспертиза Power BI:    • Expertise Power BI- How to Change Connecti...   ~-~~-~~~-~~-~ Пожалуйста, посмотрите: "Учебник по Microsoft Power BI для начинающих✨ | Полный курс Power BI 2023 | Изучение Power BI"    • Microsoft Power BI Tutorial For Beginners✨...   ~-~~-~~~-~~-~