Liderei o desenvolvimento de pipelines ETL para Porto, orquestrando a integração de dados de transações de cartão de crédito do Apache Kafka para o data lakehouse usando Scala e Apache Spark, alcançando entrega de dados quase em tempo real e melhorando significativamente a eficiência operacional. Utilizei o Azure Data Factory para a ingestão em lote de arquivos e bancos de dados relacionais, aprimorando a eficiência operacional por meio do monitoramento de pipelines. Liderei uma equipe de alto desempenho com mais de 5 engenheiros de dados, orientando esforços colaborativos para criar soluções de dados e impulsionar a inovação em nossos projetos.
Liderei com sucesso a migração do banco de dados transacional local da empresa (Sigma Software) para a nuvem da AWS usando Scala e Apache Spark, otimizando escalabilidade e eficiência. Liderei a transição de bancos de dados de softwares concorrentes à medida que os clientes migravam para a Sigma Cloud da Segware. Ajustei habilmente as estruturas de dados, garantindo a qualidade dos dados e facilitando uma integração perfeita para os clientes que faziam a transição de plataformas concorrentes para a solução da Segware.
Desenvolvi ferramentas de análise e soluções de software para empresas do mercado financeiro, utilizando ferramentas como Python e Apache Spark (Scala) para integração de dados entre sistemas.
- Aprimorei o sistema de entrega de relatórios da General Electric automatizando os processos de ingestão de dados, reduzindo significativamente o tempo de resposta de 7 dias para 1 dia. - Elaborei relatórios de eficiência para a área de negócios, com foco específico na eficiência de turbinas eólicas.
Would you like to download CV's of freelancers? Contact customer support via the chat at the bottom corner of the screen or send an e-mail to support@freelancer.com.br