Databricks Data Engineer | Senior (Remote)

.

Responsabilidades e atribuições

• Desenvolver e manter pipelines de ingestão, transformação e disponibilização de dados
• Modelar e estruturar dados em ambientes Data Lake e Data Lakehouse
• Desenvolver processos de ETL/ELT utilizando Databricks, Python e Azure Data Factory.Integrar dados provenientes de APIs, bancos de dados e arquivos estruturados e não estruturados
• Atuar em projetos envolvendo SAP Datasphere e Azure Data Lake Storage (ADLS)
• Desenvolver soluções para processamento de dados com foco em performance, qualidade e governança
• Participar de iniciativas de IA Generativa, como estruturação de bases para RAG e processamento de documentos
• Colaborar com equipes multidisciplinares na evolução de soluções de dados.

Requisitos e qualificações

Ensino superior completo em Tecnologia da Informação ou pós-graduação em TI (mínimo de 360 horas reconhecidas pelo MEC);Experiência avançada com Databricks;Sólidos conhecimentos em modelagem de dados;Experiência com Python e SQL;Conhecimento em Azure Data Factory e Azure Data Lake Storage (ADLS);Experiência com SAP Datasphere;Vivência com bancos de dados relacionais, como SQL Server e Oracle;Experiência na construção e manutenção de pipelines de dados escaláveis e confiáveis;Diferencial: Conhecimento em Apache Spark, Airflow, Kafka ou dbt, experiência com arquiteturas Data Lake e Data Lakehouse, vivência com integrações via APIs, experiência em projetos de IA Generativa, RAG e processamento de documentos, conhecimento em outras plataformas cloud e ecossistemas de dados modernos.