Para um projeto interno, arquitetei e construí uma plataforma de ETL em Python no Azure, que inclui uma API para orquestração. Para controlar os fluxos, utilizamos o ServiceBus. Essa plataforma tem a função de receber grandes volumes de arquivos fiscais, como SPED e Notas Fiscais, e executar cada etapa em microserviços. Os arquivos são ingeridos no Blob Storage e armazenados em Parquet para processamento no Databricks usando PySpark.
Arquitetei e construí a infraestrutura do DW e Data Lake na AWS, juntamente com uma API para o acesso controlado de outros sistemas, utilizando Django, Oracle e Docker. Para o ETL, criei um framework que expande as funcionalidades das pipelines Python Shell/Spark do AWS Glue, centralizando as configurações, permitindo o versionamento com o Git e o uso de CI/CD. Também utilizei o Parquet no Amazon S3 para armazenamento, mantendo o catálogo de dados atualizado e possibilitando o acesso através do Athena. Posteriormente, realizamos a migração para o GCP, transferindo alguns dos fluxos para o Dataflow, orquestrados no Cloud Composer e acessando os dados no Cloud Storage através do BigQuery.
Arquitetei e construí a infraestrutura do DW e Data Lake no GCP, com acesso aos dados no Cloud Storage através do BigQuery. Implementei o Metabase para a visualização dos dados e criei um sistema para o envio de arquivos com as informações do departamento de logística. Com base nisso, desenvolvi um algoritmo de predição de vendas utilizando regressão linear múltipla, melhorando a precisão da equipe de operações ao tomar decisões de contratação antecipada de motoboys. Além disso, fui responsável por realizar integrações com o UberEats e Rappi, utilizando técnicas de hacking, web scraping e crawler.
Atuei como responsável pelo ambiente de BI, utilizando Python, PySpark e a ferramenta de exploração de dados Looker. Desenvolvi um sistema para o departamento de marketing, utilizando o Django, e criei ferramentas, como um formulário dinâmico e um crawler, responsável pela coleta de dados dos sites de leads. Além disso, fui responsável por gerenciar todos os aspectos relacionados ao Google Analytics e ao Google Tag Manager, garantindo o monitoramento e a análise dos dados de desempenho do site e das campanhas de marketing.
Criei os relatórios e dashboards dos resultados das áreas de marketing e comercial para diretores, gerentes e coordenadores utilizando o Klipfolio. Também desenvolvi um sistema utilizando PHP e MySQL, que incluía relatórios mais detalhados e o upload de arquivos.
https://learn.microsoft.com/api/credentials/share/pt-br/flaviofgf/2FA8E04287DC17AA Habilidades medidas: Descrever os conceitos da nuvem Descrever a arquitetura e os serviços do Azure Descrever o gerenciamento e a governança do Azure
Gostaria de baixar currículos de freelancers? Confira nossas opções de account para recrutadores.
Você atingiu o limite de visualização de 10 perfis de freelancer por 24 horas.
Procurando por mais freelancers? Publique um projeto sem compromisso ou inscreva-se em uma conta recruiter.