Проект Microsoft Fabric | Поэтапный конвейер обработки данных (преобразование JSON в Power BI)

В этом видео я создаю проект Microsoft Fabric с нуля, от начала до конца. В рамках этого проекта Microsoft Fabric вы узнаете: Как работать с несколькими источниками данных в Microsoft Fabric Как работать с JSON-файлами и преобразовывать их в таблицы Как создать рабочую область в пользовательском интерфейсе Microsoft Fabric Как создать Lakehouse в рабочей области Как создать конвейер данных в Lakehouse Как создать ноутбук с использованием PySpark Архитектура Medallion - Bronze, Silver и Gold Как создать таблицу логики водяного знака для инкрементного обновления Как создать отчет Power BI на основе семантической модели. ----------------------------------------- В этом видео объясняется проект Microsoft Fabric, в котором я создаю полный инкрементный конвейер обработки данных с нуля, используя Microsoft Fabric. Я начинаю с JSON-файлов в качестве источника, загружаю данные с помощью конвейеров данных Microsoft Fabric и сохраняю необработанные данные в слое Bronze. Затем я очищаю и дедуплицирую данные в слое Silver и, наконец, подготавливаю таблицы Gold, готовые для создания отчетов. Для обработки инкрементальных данных я использую загрузку на основе водяных знаков, благодаря чему обрабатываются только новые или обновленные записи, а не весь набор данных целиком. Это делает конвейер обработки данных быстрее и ближе к тому, как работают реальные проекты. В ходе проекта я следую архитектуре Medallion (Bronze, Silver, Gold) и использую блокноты Fabric для преобразования данных и логики слияния. Итоговые таблицы Gold подключены к Power BI, где я создаю панель мониторинга, отражающую обработанные данные. В этом видео также показаны реальные проблемы, с которыми я столкнулся при создании проекта — такие как несоответствия схем, ошибки слияния, дублирующиеся столбцы и проблемы с конвейером — и объясняется, как я шаг за шагом решал каждую из этих проблем. ------------------------------------------------------- Что включает в себя этот проект Microsoft Fabric Инкрементальная обработка данных с использованием логики водяных знаков Реализация архитектуры Medallion (Bronze, Silver, Gold) Загрузка JSON-файлов с использованием конвейеров данных Microsoft Fabric Преобразование данных с использованием блокнотов Fabric (PySpark) Создание таблиц Delta в Lakehouse Построение таблиц фактов и агрегированных таблиц Gold Подключение данных Microsoft Fabric к Power BI Создание панели мониторинга Power BI из таблиц Gold -------------------------------- Для кого предназначено это видео Для всех, кто изучает Microsoft Fabric Дизайнеры данных, создающие инкрементальные конвейеры Разработчики Power BI, работающие с Fabric / Direct Lake Для тех, кто хочет увидеть реальный проект, а не демонстрацию Для специалистов, готовящихся к собеседованиям по Microsoft Fabric ------------------------------------- Почему это видео отличается Большинство руководств показывают только чистые, безошибочные примеры. В этом видео я покажу, как создаётся реальный проект Microsoft Fabric, включая путаницу, ошибки и исправления, которые происходят в процессе разработки. Если вы разберётесь с этим проектом, вы ясно поймёте, как данные передаются из JSON-файлов в Power BI с помощью Microsoft Fabric. -------------------------------------- 👉 Microsoft Fabric • Инженерия данных • Архитектура Medallion • Инкрементальная загрузка • Power BI Если это видео вам помогло, поставьте лайк, подпишитесь и напишите в комментариях, какую часть Microsoft Fabric вы хотите, чтобы я объяснил в следующий раз.