Pessoa Engenheira de Dados com Python

Publicada nesta plataforma em: 04/09/2025

Sobre a oportunidade
Vai ingressar na Marlabs tendo a oportunidade de se juntar a um time altamente qualificado, que atua de maneira distribuída em todo o mundo, e que é responsável por prover o desenvolvimento e a sustentação de soluções digitais de empresas líderes em seus segmentos.

Descrição da Vaga
A Marlabs é uma empresa de tecnologia com mais de 28 anos e que conta com mais de 3.000 especialistas ao redor do mundo. Aqui aprendemos algo novo todos os dias e vivemos desafios que nos mantêm em constante desenvolvimento. Somos um time global, reconhecido internacionalmente e com o propósito de encontrar, atrair e contratar os melhores talentos da área de Tecnologia. Todas as nossas vagas são acessíveis a profissionais PcDs, pessoas pertencentes a comunidade LGBTQIA+, pessoas negras, mulheres e demais grupos de diversidade.

Responsabilidades
• Apoiar na concepção, arquitetura e otimização de pipelines de dados.
• Desenvolver e otimizar pipelines de dados usando Python e ferramentas de processamento distribuído, como PySpark.
• Manter e aprimorar soluções existentes, incluindo a leitura cross account do S3 para processamento e catalogação de dados.
• Implementar boas práticas de desenvolvimento com qualidade e segurança.
• Seguir as orientações da arquitetura de referência.
• Documentar projetos de software e reutilizar componentes.

Requisitos
• +5 anos de experiência como Engenheiro de Dados.
• Experiência avançada na linguagem de programação Python.
• Experiência com PySpark para processamento de dados distribuído.
• Conhecimento em formatos de tabela como Delta, Iceberg, HUDI, Hive ou equivalentes.
• Experiência com ferramentas de orquestração de dados, como Airflow, DataFlow, Data Factory ou FiveTran.
• Experiência na Stack de Dados AWS (ex. Amazon Athena, EMR, Glue, S3, EC2 e Lake Foundation).
• Experiência com Bancos de Dados Relacionais (ex. Aurora, RDS e Redshift) e Não Relacionais (ex. ElasticCache, DocumentDB e Keyspaces).
• Conhecimento sobre execução e distribuição de partições para otimização de processos.
• Experiência em controle de versionamento com Git.
• Conhecimento em CI/CD (Jenkins).
• Experiência com metodologias ágeis como Scrum e Kanban.
• Boa comunicação escrita e verbal.
• Formação em Ciências da Computação, Engenharia da Computação, Análise de Desenvolvimento de Software ou cursos afins.

Requisitos desejáveis
• Experiência na arquitetura de pipeline de dados e big data (Kappa e Lambda).
• Experiência com streaming de dados e filas de mensagens, utilizando Kafka, Kinesis, Lambda ou SQS.
• Experiência com testes automatizados.
• Familiaridade com containerização (Kubernetes).
• Familiaridade com monitoramento (Grafana, Kibana, Graylog).
• Conhecimento em Terraform e GitHub.

As descrições de vagas passam por formatação com IA para melhor leitura. Verifique a vaga original no link para mais detalhes.