Apache Parquet na prática: teste real com Airflow, PySpark e Kaggle

Sua empresa sofre com consultas lentas e custos altos por armazenar volumes gigantescos em arquivos CSV? Neste vídeo, vamos resolver esse problema corporativo na prática! Processamos um dataset real de corridas de táxi de Nova York (Kaggle) orquestrado via Apache Airflow e processado com PySpark para comparar o formato CSV contra três variantes de Parquet: Snappy, ZSTD e Particionado. Não é uma comparação baseada em opinião! Medimos tamanho em disco, tempo de escrita, varredura completa, projeção de colunas (*column pruning*), filtros (*predicate pushdown*) e particionamento (*partition pruning*). Além disso, abrimos o plano físico do Spark para comprovar exatamente onde e como ocorrem as otimizações. Obs.: Imagens de demonstração da estrutura interna dos arquivos parquet foram extraídas do site https://vutr.substack.com/p/the-overv... --- 🚀 Tecnologias e Ferramentas Utilizadas Apache Airflow: Orquestração do pipeline, gestão de dependências e automação. Apache Spark / PySpark: Processamento distribuído, execução de consultas e análise de planos físicos. Apache Parquet: Armazenamento físico colunar com suporte a metadados e compressão. Kaggle: Fonte do dataset bruto (NYC Yellow Taxi Trip Data). --- 💡 Conceitos Demonstrados no Vídeo Column Pruning: Construção de `ReadSchema` reduzido lendo apenas as colunas necessárias. Predicate Pushdown: Encaminhamento de filtros (`PushedFilters`) diretamente para o leitor do Parquet. Partition Pruning: Eliminação de diretórios inteiros (`PartitionFilters`) usando colunas de particionamento. Codecs de Compressão: Análise comparativa entre Snappy e ZSTD. --- Documentação : Apache Parquet - https://parquet.apache.org/ --- 💻 Hardware & Especificações do Teste Processador: Intel i7 Memória RAM: 32Gb Armazenamento: SSD NVMe Ambiente: Docker em sistema operacional Linux --- 📌 *Gostou do conteúdo?* Inscreva-se no canal, comente seus resultados ao rodar o laboratório e fique atento para a próxima aula sobre Apache Iceberg! #DataEngineering #PySpark #ApacheAirflow #ApacheParquet #Kaggle #DataLake #apacheiceberg #armazenamentodedados Gb