PT
Começar

Glossário

Desempenho

Simultaneidade

Quantas requisições você roda ao mesmo tempo, a principal alavanca do desempenho de scraping e um limite oculto comum.

A concorrência é o número de requisições em andamento ao mesmo tempo. Ela, muito mais que a velocidade de qualquer requisição isolada, define quanto um scraper consegue fazer: um trabalho que busca cem páginas em paralelo termina em uma fração do tempo de um que as busca uma depois da outra, mesmo que nenhuma requisição individual seja mais rápida.

Os proxies interagem com a concorrência de duas formas. Um pool permite rodar alta concorrência sem empilhar requisições em um único endereço, já que cada requisição paralela pode usar uma saída diferente. Mas o próprio serviço de proxy pode limitar as conexões simultâneas, e um plano que limita threads limita a vazão em silêncio, por mais rápida que seja a rede.

O número que vale conferir em qualquer proxy, portanto, vai além do preço por gigabyte: é se as conexões simultâneas são limitadas. A concorrência ilimitada é o que permite que a verdadeira vantagem de um pool, o paralelismo, apareça de fato.

Mais não é automaticamente melhor, e é aqui que as pessoas exageram. A concorrência só aumenta a vazão até outra coisa virar o gargalo: a sua própria banda, a sua CPU se você interpreta enquanto busca, a tolerância do alvo ou a memória se você roda navegadores reais, cada um consumindo muito mais que uma requisição HTTP simples. Passado esse ponto, aumentá-la produz tempos esgotados e novas tentativas em vez de resultados, e as novas tentativas custam tráfego pelo qual você já pagou.

Ela também interage com o limite de requisições de um jeito que pega as pessoas desprevenidas. Cinquenta requisições paralelas por cinquenta saídas diferentes são cinquenta visitantes separados para um contador por endereço. Cinquenta requisições paralelas por UM endereço são uma rajada que estoura quase qualquer limite na hora. A concorrência e o tamanho do pool precisam andar juntos, senão o paralelismo que você acrescentou só faz você ser bloqueado mais rápido.

O jeito honesto de encontrar o seu número é na prática e de baixo para cima. Comece de forma conservadora, aumente em etapas e observe a taxa de erros, sem se guiar pelo gráfico de vazão. A configuração certa é a que fica logo abaixo de onde as falhas começam, e ela difere por alvo porque é, na verdade, uma propriedade do alvo, sem relação com a sua máquina.

Como a HProxy lida com isso

Nossos planos residenciais não limitam conexões simultâneas nem threads, porque um limite de threads é um limite de vazão com outras palavras, e é exatamente a limitação que torna lento na prática um plano de aparência barata.

Perguntas frequentes

Qual é um bom nível de concorrência para o scraping?

Não existe um número universal, porque o limite pertence ao alvo, longe de você. Comece baixo, aumente em etapas e observe a taxa de erros: a configuração certa fica logo abaixo de onde as falhas começam. Um site tolerante pode aceitar centenas de requisições paralelas, um rigoroso, um punhado, e o mesmo código vai precisar de configurações diferentes para cada um.

Mais concorrência significa scraping mais rápido?

Até certo ponto, depois inverte. Quando você passa do seu próprio teto de banda, CPU ou memória, ou da tolerância do alvo, o paralelismo extra produz tempos esgotados e novas tentativas em vez de resultados. Como as novas tentativas pagam por um tráfego que já passou pelo fio, exagerar na concorrência na cobrança por gigabyte custa dinheiro além de tempo.

Os provedores de proxies limitam as conexões simultâneas?

Muitos limitam, e isso muitas vezes fica enterrado nos detalhes do plano, longe do anúncio. Um teto de threads ou conexões é um teto de vazão com outras palavras, e pode tornar lenta na prática uma tarifa por gigabyte de aparência barata. Vale conferir antes de comparar preços, porque dois planos com a mesma tarifa podem diferir enormemente no que deixam você rodar de verdade.

Como a concorrência se relaciona com o tamanho do meu pool de proxies?

Elas precisam andar juntas. Requisições paralelas espalhadas por muitas saídas parecem muitos visitantes separados, e esse é o objetivo. O mesmo paralelismo forçado por um único endereço é uma rajada que estoura um limite por endereço na hora. Aumentar a concorrência sem endereços distintos suficientes por trás só faz você ser bloqueado mais rápido do que rodar em sequência teria feito.

Voltar ao glossário completo.

HProxy.

Não acredite só na nossa palavra. Meça você mesmo.

Roda no seu navegador contra o endereço real. Sem cadastro, sem lista armazenada.

HProxy