Azure Data Engineer — Изучаем Dataflow Gen2 в Microsoft Fabric: промежуточное хранение (staging),...

Двадцать пять вопросов по сценариям работы с Dataflow Gen2 в Microsoft Fabric: промежуточное хранилище, быстрое копирование, свертывание, целевые хранилища, инкрементальное обновление, шлюзы, стоимость и продвижение. Двенадцать настроек оказались неверными, а две содержат противоположные рекомендации, указанные на их собственных страницах. ━━━━━━━━━━ ⏱ ГЛАВЫ ━━━━━━━━━━ 00:00 Вступление 00:33 Основные выводы 02:01 Что изменилось 03:26 Шесть разделов 04:14 Двенадцать настроек, две отправлены неправильно 04:53 Вопрос 1 · Два варианта, один тип товара 06:43 Вопрос 2 · Публикация начинает обновление 08:18 Вопрос 3 · Два товара, которые никто не создавал 10:12 Вопрос 4 · Человек, который перестал входить в систему 11:50 Вопрос 5 · Включено по умолчанию в том же разделе 13:33 Вопрос 6 · Два значения по умолчанию указывают в неправильном направлении 15:12 Вопрос 7 · Быстро Копия и её молчание 17:02 Q8 · Чтение индикаторов сворачивания 18:59 Q9 · Подготовка как преднамеренная цель сворачивания 20:40 Q10 · Пункт назначения, который отрицает матрица 22:34 Q11 · Таблица, которая перестраивается каждую ночь 24:16 Q12 · Столбец, который не может быть установлен 25:58 Q13 · Исходная точка определяет 27:35 Q14 · Ошибка, которая не отображается 29:21 Q15 · На чём настаивает инкрементальное обновление 31:04 Q16 · Что инкрементальное обновление никогда не исправляет 32:44 Q17 · Расписание, которое само отключилось 34:23 Q18 · Отмена на полпути 36:01 Q19 · Вводящая в заблуждение информация Ошибка, названная так 37:41 Q20 · Шлюз является хостом выполнения 39:30 Q21 · Учетные данные были в порядке 41:10 Q22 · За что на самом деле выставляется счет Dataflow 42:58 Q23 · Достигнуто тестирование, все еще читаю Dev 45:04 Q24 · Соберите, но не запускайте 46:56 Q25 · Четыре маршрута, один без пути назад ━━━━━━━━━━ ⚠ ДВА ФАКТА, КОТОРЫЕ НУЖНО ЗАПОМНИТЬ ━━━━━━━━━━ 1. ДВА ПАРАМЕТРА ПО УМОЛЧАНИЮ ВКЛАДКИ SCALE-TAB УКАЗЫВАЮТ НА СВОИ СОБСТВЕННЫЕ СТРАНИЦЫ РЕКОМЕНДАЦИИ. Оптимизированное копирование в Lakehouse отключается, и «включение этой опции полезно». V-Order для промежуточных данных включается, и его отключение «является хорошим выбором для большинства потоков данных». Опубликованные результаты бенчмарка: 14:45 против 03:34. (Q6) 2. КАЖДЫЙ ПОТОК ДАННЫХ В РАБОЧЕМ ПРОСТРАНСТВЕ ЛОМАЕТСЯ, если тот, кто создал ПЕРВЫЙ, не входил в систему в течение 90 дней. Не владелец, не вызывающий. Две страницы, два решения. (Q4) ━━━━━━━━━━ 🔁 ЧЕТЫРНАДЦАТЬ ПРОТИВОРЕЧИЙ ━━━━━━━━━━ • Стандартная настройка среды: 2 предложения, 1 раздел (Q5) • Быстрое копирование: «включить» против «уже включено» (Q7) • Назначения ADLS Gen2 и Snowflake (Q10) • Инкрементальное обновление свертывания: рекомендуется или требуется (Q15) • Динамическая схема: при обнаружении или всегда (Q11) • Современный оценщик: уже включен или включить (Q8) • Управление шлюзом, как указано на его собственной странице, не является обязательным (Q21) • Git sync публикует, а на самом деле нет (Q23) • CI/CD: не отмечено в 2 списках, Предварительный просмотр по 2 (Q1) • Решение на 90 дней: обращение в службу поддержки или новый поток данных (Q4) • Максимальное количество запланированных задач: 48 в пользовательском интерфейсе, 100 в API (Q17) • Что означает «сохранить»: 2 работающие модели (Q2) • Принципал сервиса: общее «нет» против 8 «да» (Q24) • Тестирование Lakehouse: можно ли удалить или никогда (Q3) Еще две модели были отозваны после проверки. ━━━━━━━━━━ ❓ ЧЕТЫРНАДЦАТЬ ВОПРОСОВ, НА КОТОРЫЕ ДОКУМЕНТАЦИЯ НЕ ДАЕТ ОТВЕТА ━━━━━━━━━━ • Любое число для параллелизма между запросами (Q17) • Каков пороговый размер быстрой копии (Q7) • Какой движок выполнил какой запрос в смешанном режиме (Q8) • Что происходит с другими запросами при сбое (Q18) • Если неудачное обновление потребляет единицы емкости (Q22) • Какие значения может принимать поле «Движок» (Q7) • Можно ли повысить 8-часовой и 24-часовой лимиты (Q17) • Можно ли остановить обновление публикации (Q2) • Любой резервный вариант для типа, который матрица помечает как «Нет» (Q12) • Сохраняется ли расписание обновления после повышения (Q23) • Выходное значение действия потока данных (Q18) • Сохранение данных в центре мониторинга (Q19) • Порядок обновления между потоками данных (Q25) • Формат на диске, на странице формата (Q23) ━━━━━━━━━━ 🚫 ЧЕТЫРЕ ВЕЩИ, КОТОРЫЕ Я НЕ ПОЛУЧИЛ ━━━━━━━━━━ Не то же самое, что «не опубликовано»: • Страницы справочника по отдельным коннекторам (Q7) • Страницы диагностики запросов Power Query (Q8) • Статья о поддержке идентификации REST (Q24) • Страница разрешения конфликтов Git (Q23) ━━━━━━━━━━ 🔎 ПОИСКОВАЯ ФРАЗА PER ВОПРОС ━━━━━━━━━━ Вариант CICD для Dataflow Gen2 · Триггеры публикации Dataflow для обновления · DataflowsstagingLakehouse · Недостаточные права доступа к артефактам промежуточного хранения · По умолчанию для промежуточного хранения Dataflow Gen2 · Оптимизированное копирование в Lakehouse · Быстрое копирование Dataflow Gen2 · Индикаторы свертывания Power Query · Извлечение предыдущего запроса Power Query · На...