Web Scrapping em site governo: Resolução no bloqueio de IPs pelo site

  • Status do projeto

    Fechado

  • Interessado

    5

  • Postado em

  • Localização

    O projeto pode ser concluído remotamente

  • Orçamento

    Em consulta

  • Depósito pago

    R$ 0,00

  • Bônus total por indicação

    R$ 0,00

  • Na contratação

    R$ 0,00

  • postado por

    ANDERSON

  • Habilidades:

    Proxy Web Scrapping Scraping Google App Script

Descrição do Projeto

Tenho um script que roda no google app script, e o mesmo executou por 5 dias sem problemas, utilizando proxies do 'ScraperAPI', mas agora o site governamental bloqueio o acesso pelo recurso 'ScraperAPI'.
O script baixa dados por requisição, cada requisição feita retorna no máximo 25 linhas, geralmente o site exige um novo proxy/IP a cada 50 ou 100 linhas, ou seja, a cada 4 requisições no máximo.
Cada ciclo de requisições baixa em torno de 10mil linhas, ou seja, a cada ciclo de web scrapping (executa 1x ao dia para baixar todos os dados do dia corrente) são processadas por volta de 500 requisições.

Preciso que o mecanismo de proxy/IPs seja reconfigurado para que eu não sofra mais bloqueios permanentes na execução do ciclo diário.
Para evolução do projeto, eu irei compartilhar o meu atual script para ajuste pelo desenvolvedor.

Indique alguém e receba o pagamento!

Você conhece alguém que se encaixa bem no projeto? Ganhe comissão indicando freelancers! Por cada inscrição você ganha 5 € diretamente na sua conta e quando o freelancer é contratado pela plataforma você ganha 2% dos ganhos deste freelancer!

Preencha os detalhes do profissional que você gostaria de recomendar:

Quando o freelancer aceitar o convite, ele será automaticamente adicionado à sua rede e você ganhará 2% a mais todos os ganhos deste freelancer através da plataforma. Para mais informações consulte nosso Termos e Condições

Convite enviado!

after_invite_popup_message

Freelancers interessados

    {{ item.displayName }} {{ item.displayName }}

    {{ item.displayDisciplines }}

    • {{ item.hourlyRate || '-' }} por hora
    • {{ item.cityName }}
      {{ item.stateName }}, {{ item.countryName }}
    • {{ item.nrSharedConnections }} conexões compartilhadas
    Premium
    Abrir bate-papo

Nenhum freelancer interessado ainda

Recusar

    {{item.displayName}}

    {{item.displayDisciplines}}

    • {{ item.hourlyRate || '-' }} por hora
    • {{ item.cityName }}, {{ item.stateName }}
    • {{item.nrSharedConnections}} conexões compartilhadas
Cancelar
Operação falhou!
Por favor, tente novamente mais tarde. Se o problema persistir entre em contato com o suporte.