PT
Começar

Glossário

Scraping e automação

Web scraping

A coleta automatizada de dados de sites, o motivo mais comum para as pessoas usarem proxies em escala.

Web scraping é coletar informações de sites por programa, sem trabalho manual. Em vez de uma pessoa copiar preços para uma planilha, um script busca páginas e extrai os valores, em um volume e com uma frequência que nenhum processo manual conseguiria sustentar. Monitoramento de preços, pesquisa de mercado, rastreamento de posições de SEO, pesquisa de leads, comparação de tarifas de viagem e montagem de conjuntos de dados de treinamento dependem dele.

Os proxies entram por um motivo aritmético, sem nada de confronto. Os limites de requisições quase sempre são contados por endereço, então um único IP pedindo dez mil páginas estoura um limite de que dez mil requisições espalhadas por muitos endereços nunca chegam perto. Você não enganou nada; você parou de concentrar o tráfego em um único lugar, e é exatamente assim que uma população de visitantes reais se parece.

O tipo de proxy de que você precisa decorre do que o alvo filtra, e vale estabelecer isso na prática, sem confiar na reputação. Um site que só conta requisições por endereço pode ficar perfeitamente satisfeito com proxies de datacenter baratos. Um site que classifica por tipo de rede vai rejeitar todos os endereços de datacenter, qualquer que seja o ritmo. Teste as URLs exatas de que você precisa antes de comprar para uma dificuldade que você supôs.

Os alvos mais difíceis nem são vencidos por endereços, e essa é a parte que as pessoas aprendem pagando caro. Além da reputação de rede, existem a impressão digital TLS, a impressão digital do navegador, a pontuação comportamental e os honeypots, e cada um deles opera em camadas que um proxy não toca. Um scraper que funciona no navegador e falha a partir de um script com o mesmo IP normalmente está se denunciando no handshake, bem antes do endereço.

Há uma grande diferença prática entre coletar HTML e coletar páginas renderizadas, e ela decide a maior parte do seu custo. Buscar documentos é rápido e barato. Pilotar um navegador real renderiza JavaScript e parece muito mais humano, e também puxa cada imagem, fonte e script, o que na cobrança residencial por gigabyte é dinheiro gasto com recursos que você descarta. Muitos sites expõem um endpoint JSON que devolve os mesmos dados em uma fração do tamanho, e encontrá-lo costuma ser a hora mais valiosa do projeto.

Quanto à conduta, nossa posição é clara e a aplicamos a nós mesmos. Colete dados públicos e não pessoais. Respeite o que um site publica sobre acesso automatizado. Dê ritmo às requisições para não degradar um serviço que outras pessoas estão usando. Não trate um bloqueio como convite para escalar. Além da boa educação, o que é lícito depende da jurisdição, dos termos do site e da natureza dos dados, sobretudo quando há informações pessoais envolvidas, e essa é uma pergunta para um advogado, que um glossário não responde.

A nota final honesta é que o scraping é manutenção contínua, sem obra pronta. Layouts mudam, defesas se atualizam, endpoints se movem, e um scraper é algo que você mantém funcionando, sem nunca terminar. Orçar isso desde o início é a diferença entre um pipeline e uma série de surpresas.

Perguntas frequentes

Preciso de proxies residenciais para web scraping?

Só se o alvo filtrar por tipo de rede, o que está longe de ser universal. Muitos sites simplesmente contam requisições por endereço e ficam perfeitamente satisfeitos com proxies de datacenter, que são mais rápidos e bem mais baratos. Teste primeiro as URLs reais do seu alvo com a opção mais barata; pagar tarifas residenciais por um site que nunca confere é gastar dinheiro com uma confiança que ninguém pediu.

De quantos proxies preciso para fazer scraping de um site?

Parta do limite, sem escolher um número no chute. Se um alvo tolera mais ou menos uma requisição a cada poucos segundos por endereço e você precisa de um volume fixo em uma janela fixa, a aritmética dá o tamanho do pool. Depois acrescente uma folga, porque endereços caem e alguns já estarão marcados. Começar devagar com um punhado e medir onde os erros começam é melhor que chutar alto.

Por que meu scraper é bloqueado mesmo com bons proxies?

Porque o endereço é uma camada entre várias. A impressão digital TLS identifica o seu cliente HTTP antes de qualquer coisa ser descriptografada, a impressão digital do navegador pega contradições entre o que você declara e o que você informa, e um ritmo regular demais aparece sozinho. Uma requisição que funciona em um navegador real e falha a partir de um script no mesmo IP está sendo pega acima da rede.

Web scraping é legal?

Depende da jurisdição, dos termos de serviço do site e, em grande parte, de quais são os dados, com informações pessoais trazendo obrigações bem mais rígidas. Isso faz dela uma pergunta para um advogado, que responde melhor que nós. Nossas próprias regras de operação, que sugerimos como um piso e sem valor de aconselhamento jurídico: dados públicos e não pessoais, respeito às regras publicadas sobre acesso automatizado e ritmo nas requisições para não degradar o serviço para mais ninguém.

Devo usar um navegador headless ou requisições HTTP simples?

Requisições onde der, navegador onde for preciso. A busca simples é muito mais rápida e barata e, na cobrança por gigabyte, evita pagar por imagens e fontes que você descarta. Um navegador headless se justifica quando os dados realmente só existem depois que o JavaScript roda. Antes de recorrer a um, confira se a página é alimentada por um endpoint JSON que você pode chamar diretamente, o que é comum e normalmente bem menor.

Voltar ao glossário completo.

HProxy.

As definições só levam você até certo ponto. Executar contra alvos reais.

Residenciais a partir de US$ 0,23 por GB, pagamento conforme o uso, e o saldo nunca expira.

HProxy