Descrição: Projetar, implementar e otimizar arquiteturas de ingestão e processos ETL ou ELT, assegurando qualidade, governança, segurança e eficiência, além de apoiar a evolução da plataforma por meio de automação e padronização.
Atividades:
- Desenvolver extratores e conectores para APIs, bancos, sistemas legados, arquivos e serviços em nuvem;
- Construir pipelines batch, streaming e quase em tempo real com Python, SQL, Spark, Databricks, AWS Glue, Airflow ou Azure Data Factory;
- Implementar cargas incrementais, captura de alterações, versionamento, testes, tratamento de erros e implantação controlada;
- Automatizar infraestrutura com Terraform ou CloudFormation e documentar fluxos, dependências e contratos de dados;
- Garantir qualidade, catalogação, linhagem, classificação, retenção e controle de acesso;
- Definir padrões técnicos e disseminar boas práticas de engenharia, governança e arquitetura de ingestão de dados, com atuação em sobreaviso quando necessário.
Requisitos Técnicos:
- Experiência em engenharia e ingestão de dados, com domínio na definição de estratégias de extração adequadas às diferentes fontes de dados e necessidades do negócio.
- Sólido conhecimento em padrões de arquitetura de dados e ferramentas de integração, desenvolvendo processos de extração tanto por meio de programação (code-based) quanto com soluções low-code/no-code.
- Experiência em linguagens e tecnologias como Python, SQL e Spark, além de processos ETL/ELT, orquestração de pipelines e plataformas de dados em nuvem, garantindo escalabilidade, governança e eficiência no tratamento e disponibilização das informações.
Conhecimentos:
- AWS, Azure e GIT; Databricks e Airflow;
- Terraform ou CloudFormation; Git, integração e entrega contínuas e testes automatizados;
- APIs REST e processamento batch ou streaming;
- Prometheus e ELK;
- LGPD, segurança e privacidade de dados.
Habilidades pessoais:
- Comunicação clara;
- Visão sistêmica;
- Pensamento analítico;
- Proatividade e colaboração;
- Adaptabilidade;
- Autonomia;
- Inovação e foco em resultados.
Formação e certificações: Graduação em Ciência da Computação, Engenharia de Software, Sistemas de Informação ou área correlata. Certificações Databricks e AWS.
Enviar currículo para: https://form.cits.br/?filial=2&cod=ANAD&sol=12655