9. Как выполнить полную загрузку с локального SQL-сервера в ADLS с помощью Azure Synapse Pipelines

В этом видео рассказывается, как выполнить полную загрузку данных с локального SQL-сервера в ADLS в формате Parquet с помощью Azure Synapse Pipelines. Мы использовали базу данных Azure SQL для хранения метаданных. Мы загрузили данные с локального SQL-сервера в ADLS-слои. Для подготовки метаданных мы использовали следующий запрос: select a.TABLE_SCHEMA как Table_Schema, a.TABLE_NAME как Table_Name, a.TABLE_CATALOG, 'select '+ string_agg(b.column_name,',') + ' from ' + a.TABLE_SCHEMA+'.'+a.TABLE_NAME как Query, 'Y' как IncrementalFlag, 1 как Isactive from INFORMATION_SCHEMA.tables a inner join INFORMATION_SCHEMA.COLUMNS b on a.TABLE_SCHEMA=b.TABLE_SCHEMA and a.TABLE_NAME=b.TABLE_NAME where TABLE_TYPE='BASE TABLE' group by a.СХЕМА_ТАБЛИЦЫ,a.ИМЯ_ТАБЛИЦЫ,a.КАТАЛОГ_ТАБЛИЦЫ #azuredatafactory #azuresynapseanalytics #datafactory #azure