GCP Data Engineer | Сквозной конвейер данных с использованием Airflow, BigQuery и dbt (data build...
PYTUBER
0:00 / 0:00
GCP Data Engineer | Сквозной конвейер данных с использованием Airflow, BigQuery и dbt (data build...
5 834 просмотра · 3 г. назад
PYTUBER
1,36 тыс. подписчиков
5 834 просмотра · 3 г. назад
В этом видео мы рассмотрим:
➡️ Как настроить и запустить Airflow локально с помощью Astro CLI
➡️ Как настроить DAG для передачи файла из локальной среды в GCS, а затем в таблицы BigQuery
➡️ Как настроить DAG для выполнения преобразования dbt в таблицах BigQuery
➡️ Как настроить DAG для получения набора данных, запускаемого другим вышестоящим DAG
Ссылка на репозиторий Github: https://github.com/Swagatd/gcphandson...
#googlecloud #airflow #dataengineering #googlecloudplatformtutorial #gcp #bigquery #dbt #pytuber