Перейти к содержимому

2/2 DBT Snowflake Power BI

Culture Data & IA

0:00 / 0:00

2/2 DBT Snowflake Power BI

41 просмотр · 3 нед. назад
Culture Data & IA
929 подписчиков
41 просмотр · 3 нед. назад
On construit toute la couche de transformation avec dbt Cloud sur Snowflake, puis on connecte Power BI à l'entrepôt pour y charger la table finale. Dans cette séance du Bootcamp Data Engineer Pro, on part des données d'exemple TPCH de Snowflake (tables ORDERS et LINEITEM) et on construit pas à pas un projet dbt versionné sur GitHub : • Sources et modèles de staging avec source() • Couche marts avec ref() et jointures • Seeds (fichiers CSV) avec dbt seed • Matérialisations : view, table, ephemeral et incremental • Jinja, dossier analyses et macros • Tests génériques et singuliers avec dbt test • Snapshots pour historiser les changements (SCD type 2) • Connexion de Power BI Desktop à Snowflake et import des données On tombe aussi sur de vraies erreurs (tests en échec, modèle incrémental, connexion Snowflake) et on les corrige ensemble. ⏱️ CHAPITRES 00:00 Introduction : le projet dbt Cloud et la source TPCH 01:55 Snowflake : rôle, warehouse, base DB, schéma BR et données TPCH_SF1 04:25 Modèle de staging stg_orders avec source() 11:37 Modèle de staging sur la table LINEITEM 17:19 Commit Git, dbt build et vérification des vues dans Snowflake 20:49 Couche marts : fct_tpch_orders avec ref() et jointure 32:25 Contrôle des modèles dans Snowflake 34:40 Seeds : fichier CSV orders_status et dbt seed 38:25 Matérialisations : dbt_project.yml, config(), view, table et ephemeral 47:43 Modèle incrémental : is_incremental(), this et unique_key 55:31 Jinja : boucle for pour compter les commandes par statut 1:04:25 Dossier analyses et dbt compile 1:08:55 Macros : la macro ttc() pour calculer un prix TTC 1:17:37 Tests génériques : unique, not_null et accepted_values 1:23:31 Test singulier : total_positif 1:25:43 dbt test : comprendre les échecs et corriger les tests 1:44:07 Snapshots : historiser le statut des commandes (stratégie check) 1:54:43 dbt build : corriger l'erreur du modèle incrémental 2:02:55 Vérification finale des tables dans Snowflake 2:04:19 Installation de Power BI Desktop 2:06:48 Connexion de Power BI à Snowflake (serveur, warehouse, rôle) 2:09:15 Identifiants Snowflake : erreur de connexion et nouveau mot de passe 2:12:42 Navigateur, mode Importer et chargement de FCT_TPCH_ORDERS 🛠️ OUTILS dbt Cloud (dbt Studio) • Snowflake • GitHub • Power BI Desktop ▶️ Partie 1 👉    • Séance 08 Dbt Studio + Snowflake    🔔 Abonnez-vous à Culture Data & IA pour ne rien rater des prochains projets Data Engineering et IA. #dbt #Snowflake #PowerBI #DataEngineering #DataEngineer #AnalyticsEngineering #dbtCloud #SQL #ELT #DataWarehouse #CultureDataIA