Инженерия конвейеров данных Reddit | Сквозная разработка инфраструктуры данных в AWS

🚀 В этом видео мы шаг за шагом расскажем вам об интеграции Reddit, Airflow, Celery, Postgres, S3, AWS Glue, Athena и Redshift для создания бесшовного процесса ETL. 📊🔍 БОЛЬШЕ БЕСПЛАТНЫХ КУРСОВ: https://datamasterylab.com Что вы узнаете 📝: 🌐 Как извлекать данные из Reddit с помощью его API. 🔄 Настройка и оркестрация процессов ETL с помощью Apache Airflow и Celery. 📦 Эффективное хранение данных в Amazon S3 с использованием Airflow. 🧠 Использование AWS Glue для каталогизации данных и заданий ETL. 📜 Запросы и преобразование данных с помощью Amazon Athena. 🏢 Настройка кластера Redshift и лучшие практики загрузки данных в Amazon Redshift для аналитики. ⏰ Временные метки: 0:00 Введение 1:27 Настройка Apache Airflow с бэкендом Celery и Postgres 9:20 Конвейер обработки данных Reddit с Airflow 41:00 Очистка и преобразование данных Reddit 50:00 Подключение к AWS из Airflow 1:11:17 Преобразование данных AWS Glue 1:22:13 Запросы к данным с помощью Athena 1:24:47 Настройка хранилища данных Redshift 1:27:26 Инструмент запросов хранилища данных Redshift 1:29:00 Загрузка данных в хранилище данных 1:32:25 Построение графиков с помощью хранилища данных Redshift 🔗 Полезные ссылки: Исходный код: https://github.com/airscholar/RedditD... Начало работы с Reddit:   / api   Создание приложения Reddit:   / apps   Официальный сайт Apache Airflow: https://airflow.apache.org/docs/ Документация AWS Glue: https://docs.aws.amazon.com/glue/late... 💬 Задавайте вопросы в комментариях или предлагайте темы для обсуждения! 🌟 Не забудьте поставить лайк, поделиться и подписаться на канал, чтобы получать больше обучающих материалов по работе с данными! 🌟 Мой LinkedIn:   / yusuf-ganiyu-b90140107   Medium:   / yusuf.ganiyu   X: https://x.com/YusufOGaniyu