Construção de robô de scraping para popular base de dados
Site e aplicativos
Descrição do Projeto
Necessito construir um banco de dados em SQL (Postgres/SQLite/MySQL) com dados de cadastro da Prefeitura de São Paulo e de cartórios da cidade.
O site Geosampa (************) permite o acesso a uma base de dados com o cadastro e IPTU de todos os terrenos da cidade (Geosampa>Dados Abertos>Cadastro>IPTU). O primeiro passo do projeto seria transferir esses dados (de maneira organizada e limpa) para uma base de dados em SQL (com alguma maneira fácil de eu atualizar os dados que saem a cada ano).
O segundo passo seria criar uma ferramenta de scraping dos 6 cartórios de São Paulo que permitem acesso online às bases. Gostaria de rodar os dados da Geosampa pelos sites dos cartórios e ter como output o número de matrícula dos imóveis, dentro do próprio banco de dados em SQL falado no primeiro passo.
Problemas encontrados:
- cada site dos cartórios opera de uma maneira diferente (precisaríamos de um script para cada, já que são sites diferentes, com etapas diferentes)
- cada cartório pede inputs diferentes para encontrar o número da matrícula do imóvel que é nosso grande objetivo aqui (uns pedem o endereço, outros o IPTU)
- cada cartório cuida de uma região física da cidade, enquanto a base do Geosampa engloba todas as áreas (como filtrar previamente os dados para não rodar os milhares de endereços em cada site?)
- os sites dos cartórios podem em algum momento fechar a conexão dada a quantidade de acessos
No final, o objetivo é ter de forma atualizável os dados do Geosampa com uma coluna adicional: número de matrícula.
Segue link dos cartórios:
************
************
************
************
************
************
Indique alguém e receba o pagamento!
Você conhece alguém que se encaixa bem no projeto? Ganhe comissão indicando freelancers! Por cada inscrição você ganha 5 € diretamente na sua conta e quando o freelancer é contratado pela plataforma você ganha 2% dos ganhos deste freelancer!
Preencha os detalhes do profissional que você gostaria de recomendar:
Quando o freelancer aceitar o convite, ele será automaticamente adicionado à sua rede e você ganhará 2% a mais todos os ganhos deste freelancer através da plataforma. Para mais informações consulte nosso Termos e Condições
Freelancers interessados
-
- {{ item.hourlyRate || '-' }} por hora
-
{{ item.cityName }}
{{ item.stateName }}, {{ item.countryName }} - {{ item.nrSharedConnections }} conexões compartilhadas
PremiumAbrir bate-papo
Nenhum freelancer interessado ainda
Recusar
-
{{item.displayName}}
{{item.displayDisciplines}}
- {{ item.hourlyRate || '-' }} por hora
- {{ item.cityName }}, {{ item.stateName }}
- {{item.nrSharedConnections}} conexões compartilhadas
Você tem uma conta stand-by e já respondeu a 1 projeto neste período de assinatura.
Atualize sua conta agora com apenas 1 clique e responda a projetos ilimitados.