DuckDB и Python | Сквозной проект по инженерии данных (1/3)

В этом видео @mehdio рассказывает об интересном комплексном проекте по обработке данных: получение информации об использовании библиотеки Python с помощью Python, SQL и DuckDB! Это первая часть серии. Перейдите по ссылкам ниже, чтобы узнать о преобразовании данных и создании дашбордов с использованием DuckDB! 🎥 Часть 2 проекта по комплексному проектированию данных:    • DuckDB & dbt | End-To-End Data Engineering...   🎥 Часть 3:    • DuckDB & dataviz | End-To-End Data Enginee...   ☁️🦆 Начните использовать DuckDB в облаке БЕСПЛАТНО с MotherDuck: https://hubs.la/Q02QnFR40 📓 Ресурсы Репозиторий руководства на Github: https://github.com/mehd-io/pypi-duck-... Проблема производительности BigQuery с некоторыми библиотеками: https://github.com/googleapis/python-... Видео для начинающих по DuckDB:    • DuckDB Tutorial For Beginners In 12 min   ➡️ Подписывайтесь на нас LinkedIn:   / motherduck   Twitter:   / motherduck   Блог: https://motherduck.com/blog/ 0:00 Вступление 1:06 Архитектура 3:13 Конвейер обработки данных Python и DuckDB 41:08 Заключение и что дальше #duckdb #dataengineering #sql #python Узнайте, как создать полный комплексный проект по обработке данных с использованием Python, SQL и DuckDB. Это видео проведет вас через создание надежного конвейера обработки данных на Python для сбора и анализа статистики загрузок PyPI, предоставляя ценную информацию об использовании любой библиотеки Python. Мы рассмотрим всю архитектуру, от получения необработанных данных в Google BigQuery до подготовки их к преобразованию и визуализации, что делает это руководство идеальным для всех, кто хочет применить лучшие практики обработки данных в реальных условиях. Мы начинаем этап загрузки данных с демонстрации эффективного выполнения запросов к большим общедоступным наборам данных в BigQuery без высоких затрат, уделяя особое внимание фильтрации по разделам для оптимизации. Вы узнаете, как настроить профессиональную среду разработки с использованием Docker и контейнеров разработки VS Code, и мы установим все необходимые библиотеки, включая Google Cloud SDK, Pandas для обработки данных и, конечно же, пакет DuckDB для Python. Такая настройка гарантирует воспроизводимость и изоляцию вашего конвейера обработки данных. Познакомьтесь с лучшими практиками создания конвейеров обработки данных на Python, поскольку мы структурируем наш код для удобства сопровождения и надежности. Мы используем Pydantic для определения четких моделей данных для параметров наших заданий и, что особенно важно, для проверки схемы на соответствие исходным данным из BigQuery. Это предотвращает сбои в работе конвейера из-за проблем с качеством данных. Мы также используем библиотеку Fire для автоматической генерации мощного и гибкого интерфейса командной строки (CLI) из наших моделей Pydantic, что упрощает параметризацию и запуск конвейера. Узнайте, как DuckDB выступает в качестве мощного ядра нашей логики загрузки данных. После получения данных в DataFrame Pandas мы плавно загружаем их в экземпляр DuckDB в оперативной памяти. Это упрощает сложные задачи, такие как создание надежных тестовых фикстур для проверки схемы и экспорт проверенных данных в несколько мест назначения. Изучите простые команды SQL для записи данных локально, отправки в озеро данных на AWS S3 с эффективным секционированием Hive или загрузки данных непосредственно в MotherDuck для работы с бессерверным облачным хранилищем данных. К концу этого урока вы создадите полностью функциональный конвейер для приема необработанных данных, готовый к следующему шагу. Это видео закладывает основу для нашей серии, в которой мы далее будем использовать DBT и DuckDB для построения слоя преобразования. Вы получите практические навыки в области проектирования данных, управления схемами и создания эффективных конвейеров с использованием современных инструментов разработчика. Смотрите с полной расшифровкой и ресурсами: https://motherduck.com/videos/duckdb-...