Implemento pipelines ETL escaláveis no Azure Databricks com PySpark, Delta Lake e arquitetura Medallion (Bronze/Silver/Gold). O resultado é uma base de dados confiável, versionada e otimizada para alimentar Power BI, modelos analíticos e relatórios regulatórios sem retrabalho.
Times de dados presos em rotinas SQL frágeis, exportações manuais entre sistemas, falta de histórico (sem snapshot diário), reprocessamentos demorados e custos crescentes de cluster sem governança. Quando a fonte muda schema, todo o downstream quebra. Quando o volume cresce, o pipeline dobra de duração. Resolvo isso com Delta Lake (ACID, schema evolution, time travel) e jobs idempotentes que podem ser reprocessados sem efeito colateral.
Pipeline de consolidação financeira para grupo com 12 empresas e ERPs distintos (Protheus, SAP B1 e Sankhya). Ingestão diária de ~8GB via Auto Loader em ADLS Gen2, camada Silver com MERGE incremental por chave natural, e camada Gold materializando um plano de contas unificado mais fatos de lançamentos contábeis, contas a pagar/receber e fluxo de caixa. Jobs orquestrados em Databricks Workflows com SLA de 45 minutos. OPTIMIZE noturno + Z-ORDER por conta contábil reduziu a leitura no Power BI de 22s para 3s. Custo mensal de cluster: ~US$ 180, monitorado via system tables. Documentação técnica e runbook de incidentes incluídos.