8. Azure Data Factory | ADLS Gen2 в ADLS Gen2 | Lookup + ForEach + Copy (на основе метаданных)

В этом видео мы демонстрируем сценарий работы с Azure Data Factory (ADF) в реальном времени для копирования данных из ADLS Gen2 в ADLS Gen2 с использованием подхода, основанного на метаданных. Мы используем действие «Поиск/Скрипт» для чтения данных конфигурации и действие «Для каждого + Копировать» для динамического копирования нескольких папок. Этот шаблон широко используется в корпоративных проектах Azure Data Engineering. 📌 Рассматриваемый сценарий: Источник: Azure Data Lake Storage Gen2 Приемник: Azure Data Lake Storage Gen2 Инструмент: Azure Data Factory 📌 Используемые компоненты ADF: ✔ Связанные службы (2) Источник ADLS Gen2 Приемник ADLS Gen2 ✔ Наборы данных (2 – параметризованные) Определяет структуру и расположение данных ✔ Конвейер (1) 📌 Поток конвейера: 1️⃣ Действие поиска / скрипта Читает файл конфигурации (CSV / JSON / результат SQL) Преобразует строки в элементы Параметры: ✔ Только первая строка ✔ Все строки 2️⃣ Действие ForEach @activity('Lookup').output.firstRow @activity('Lookup').output.value Режимы выполнения: ✔ Последовательный (папки по одной) ✔ Пакетная обработка (параллельное выполнение – до 50 элементов) 3️⃣ Операция копирования Исходный набор данных → Целевой набор данных Полностью параметризовано 📌 Пример сопоставления папок: global/india/raw/cust → global/india/bronze/cust 📌 Столбцы конфигурации: src_container src_subfolder sink_container sink_subfolder 📌 Используемые выражения: @item().src_container @item().src_subfolder 📌 Расширенные сценарии: ✔ Копирование нескольких папок из локальной файловой системы в ADLS Gen2 с использованием скрипта + ForEach + Copy ✔ Обработка больших метаданных (5000 строк / 4 МБ данных) ✔ Использование выходных данных скрипта: @activity('script').output.resultSets[0].rows ✔ Копирование нескольких таблиц из локального SQL Server в Data Lake с помощью скрипта + ForEach 👉 Присоединяйтесь к учебному институту Cloudpandith и улучшите свою карьеру, изучив курс MS Azure Data Engineering от опытных специалистов с реальными проектами. 👩 Подробнее о содержании курса: https://www.cloudpandith.com 👩 Демонстрация Azure Data Engineer каждую субботу в 10:00. ✍️ Напишите нам в WhatsApp для получения дополнительной информации: https://wa.me/918904424822 ✍️ Запишитесь на встречу с тренером: https://meetpro.club/mallaiahsomula 🫵 Узнайте больше о вашем тренере: https://goo.gl/maps/9jGub6NfLH2jmVeGA ☎️ Позвоните нам по номеру 8904424822 Присоединяйтесь к нашей группе WhatsApp для бесплатных вопросов и ответов: https://chat.whatsapp.com/Gow6Qxi77FN... Присоединяйтесь к нашей группе Telegram для бесплатных вопросов и ответов: https://t.me/+PGnxzlaFpvo1MWJl 👍 Лайк | Поделиться | Подпишитесь на CloudPandith, чтобы получать больше примеров реальных сценариев использования Azure Data Factory #AzureDataFactory #ADF #ADLSGen2 #LookupActivity #ForEach #ScriptActivity #MetadataDriven #AzureDataEngineering #CloudPandith