Qualidade de Dados e Databricks: DQX e IA

Nesse vídeo eu mostro a extensão que construí pro VS Code, a DQX Forge, que gera um framework de qualidade de dados no Databricks direto a partir de contratos YAML, sem sair da IDE. Mostro como o Forge lê os contratos em dq/contracts, como ele gera os checks (is_not_null, is_in_range, is_unique...) e como dá pra usar um agente de IA pra propor as regras sozinho, olhando o perfil real dos dados. No fim abro o dashboard de qualidade que ele monta automaticamente no Databricks. DQX Forge: https://marketplace.visualstudio.com/... Doc do DQX: https://databrickslabs.github.io/dqx/ Doc do Databricks sobre DQ: https://www.databricks.com/discover/p... Capítulos: 00:00 Abertura 03:20 Contexto: IA e Qualidade de Dados no Databricks 04:20 Apresentando a extensão DQX Forge 05:40 Estrutura do projeto e contratos DQ 14:00 Editando checks de qualidade (account_balances) 16:15 Checks direto em YAML 24:24 Agente de IA gerando checks sozinho (tabela loans) 25:25 Revisando o que a IA propôs 31:30 Dashboard de qualidade de dados no Databricks