Ciência de Dados na prática: correlação de Spearman com Python e IA

Neste vídeo, aplicamos na prática a correlação de Spearman utilizando Python, dados reais da OpenAlex e Inteligência Artificial generativa. No vídeo anterior, calculamos Spearman manualmente, passo a passo, para entender o que existe por trás da fórmula. Agora damos o próximo passo: coletamos 1.000 trabalhos relacionados a “Data Science”, contamos o número de autores, recuperamos o número de citações, construímos um gráfico de dispersão e calculamos a correlação com Python. Durante o vídeo, fazemos duas implementações. Primeiro, construímos o código praticamente “na unha”, aproveitando tudo o que já aprendemos sobre API, JSON, Pandas e DataFrames. Depois, abrimos uma sessão do ChatGPT sem memória e pedimos para a IA gerar uma solução equivalente. A comparação serve para discutir uma ideia que considero cada vez mais importante: a IA pode acelerar muito a programação, mas precisamos saber o que queremos, como pedir e como validar aquilo que ela entrega. Ao longo do experimento trabalhamos com: 🔹 coleta de 1.000 Works pela API da OpenAlex; 🔹 paginação da consulta; 🔹 contagem de autores a partir de `authorships`; 🔹 Pandas e DataFrames; 🔹 scatter plot para exploração visual; 🔹 correlação de Spearman com SciPy; 🔹 interpretação do coeficiente rho (ρ); 🔹 p-valor, apresentado aqui e aprofundado futuramente; 🔹 limitações e vieses da coleta; 🔹 geração e validação de código com IA. A proposta da playlist continua sendo utilizar a OpenAlex como laboratório de dados reais para aprender Ciência de Dados, mas as técnicas utilizadas aqui — correlação, visualização, preparação de dados e uso crítico de IA — podem ser aplicadas em muitos outros domínios. Mais importante do que executar uma função é conseguir entender, interpretar e explicar aquilo que os dados nos disseram. #Spearman #Correlacao #Python #CienciaDeDados #DataScience #InteligenciaArtificial #OpenAlex