Лучший пет-проект по созданию витрины данных (The best pet project for creating a data mart)
Корсаков о Data
0:00 / 0:00
Лучший пет-проект по созданию витрины данных (The best pet project for creating a data mart)
2 442 просмотра · 1 год назад
Корсаков о Data
2,52 тыс. подписчиков
2 442 просмотра · 1 год назад
В этом видео я покажу лучший проект для дата-инженера по работе с гео-данными и созданием витрин данных. Мы рассмотрим множество инструментов: Python, Docker, Git, S3 Minio, PostgreSQL, DuckDB, Plotly, Dash Plotly. Покажу и расскажу, что такое модель данных, что такое витрина, зачем нужна витрина и зачем тут дата-инженер
📌 Что вы узнаете:
• Как устроена типовая задача в анилитке
• Как создать рабочую инфраструктуру под pet project
• Как управлять зависимостями и конфигурацией
• Как создать витрины данных и визуализации
• Идеи для других проектов с гео-данными
💻 Менторство/консультации по IT – https://korsak0v.notion.site/Data-Eng...
📂 Полный проект на GitHub: https://github.com/k0rsakov/pet_proje...
👨💻 Подходит для начального уровня, junior и middle дата-инженеров, ищущих реальный опыт и сильное портфолио.
🔔 Подписывайтесь и ставьте лайк, если хотите больше практических видео!
Ссылки:
• Менторство/консультации по IT – https://korsak0v.notion.site/Data-Eng...
• TG канал – https://t.me/DataLikeQWERTY
• Instagram – / i__korsakov
• Habr – https://habr.com/ru/users/k0rsakov/pu...
• Git-репозиторий из видео – https://github.com/k0rsakov/pet_proje...
• Всё что нужно знать про DuckDB – https://habr.com/ru/articles/829502/
• Инфраструктура для Data-Engineer BI-tools – https://habr.com/ru/articles/856922/
Тайминги:
00:00 – Начало
00:34 – Разбор модели данных интернет-магазина
03:01 – Что такое витрина данных
05:02 – Инструменты для создания витрины
06:11 – Что такое Dash Plotly
08:01 – Самостоятельная генерация данных
12:23 – Разбор BI-приложения на Flask
15:13 – Запуск BI-приложения на Flask
15:58 – Работа с BI-приложением на Flask, исследование данных
19:21 – Объяснение важности витрины данных
21:34 – Больше информации про BI-инструменты
22:37 – Примеры других пет-проектов с гео-данными
#dataengineer #petproject #flask #postgresql #minio #dash #plotly #dwh #python #dataengineering #etl #docker #portfolio #датаинженер #datamart #duckdb