2/2 DBT Snowflake Power BI
Culture Data & IA
0:00 / 0:00
2/2 DBT Snowflake Power BI
41 просмотр · 3 нед. назад
Culture Data & IA
929 подписчиков
41 просмотр · 3 нед. назад
On construit toute la couche de transformation avec dbt Cloud sur Snowflake, puis on connecte Power BI à l'entrepôt pour y charger la table finale.
Dans cette séance du Bootcamp Data Engineer Pro, on part des données d'exemple TPCH de Snowflake (tables ORDERS et LINEITEM) et on construit pas à pas un projet dbt versionné sur GitHub :
• Sources et modèles de staging avec source()
• Couche marts avec ref() et jointures
• Seeds (fichiers CSV) avec dbt seed
• Matérialisations : view, table, ephemeral et incremental
• Jinja, dossier analyses et macros
• Tests génériques et singuliers avec dbt test
• Snapshots pour historiser les changements (SCD type 2)
• Connexion de Power BI Desktop à Snowflake et import des données
On tombe aussi sur de vraies erreurs (tests en échec, modèle incrémental, connexion Snowflake) et on les corrige ensemble.
⏱️ CHAPITRES
00:00 Introduction : le projet dbt Cloud et la source TPCH
01:55 Snowflake : rôle, warehouse, base DB, schéma BR et données TPCH_SF1
04:25 Modèle de staging stg_orders avec source()
11:37 Modèle de staging sur la table LINEITEM
17:19 Commit Git, dbt build et vérification des vues dans Snowflake
20:49 Couche marts : fct_tpch_orders avec ref() et jointure
32:25 Contrôle des modèles dans Snowflake
34:40 Seeds : fichier CSV orders_status et dbt seed
38:25 Matérialisations : dbt_project.yml, config(), view, table et ephemeral
47:43 Modèle incrémental : is_incremental(), this et unique_key
55:31 Jinja : boucle for pour compter les commandes par statut
1:04:25 Dossier analyses et dbt compile
1:08:55 Macros : la macro ttc() pour calculer un prix TTC
1:17:37 Tests génériques : unique, not_null et accepted_values
1:23:31 Test singulier : total_positif
1:25:43 dbt test : comprendre les échecs et corriger les tests
1:44:07 Snapshots : historiser le statut des commandes (stratégie check)
1:54:43 dbt build : corriger l'erreur du modèle incrémental
2:02:55 Vérification finale des tables dans Snowflake
2:04:19 Installation de Power BI Desktop
2:06:48 Connexion de Power BI à Snowflake (serveur, warehouse, rôle)
2:09:15 Identifiants Snowflake : erreur de connexion et nouveau mot de passe
2:12:42 Navigateur, mode Importer et chargement de FCT_TPCH_ORDERS
🛠️ OUTILS
dbt Cloud (dbt Studio) • Snowflake • GitHub • Power BI Desktop
▶️ Partie 1 👉 • Séance 08 Dbt Studio + Snowflake
🔔 Abonnez-vous à Culture Data & IA pour ne rien rater des prochains projets Data Engineering et IA.
#dbt #Snowflake #PowerBI #DataEngineering #DataEngineer #AnalyticsEngineering #dbtCloud #SQL #ELT #DataWarehouse #CultureDataIA