Integrações · Automação e scraping
Use a HProxy com Scrapy.
- 3 passos
- Código funcionando
- HTTP e SOCKS5
- Login na URL do proxy
Por que um proxy
Por que usar um proxy com Scrapy
O Scrapy é o framework de scraping dedicado do Python, feito para crawling em volume com o seu próprio agendador, pipelines e middleware.
O Scrapy se dá melhor rodando muitas requisições simultâneas, e é exatamente isso que dispara mais rápido um limite de taxa por IP. Um pool rotativo por trás dele é o que impede que uma configuração de alta simultaneidade bloqueie o crawl inteiro.
Setup
Configurando a HProxy no Scrapy
- 1
Defina o proxy em cada requisição pelo dict meta dela, ou globalmente em um downloader middleware.
- 2
Coloque o seu login na URL do proxy, com host e porta do painel.
- 3
Aumente o CONCURRENT_REQUESTS só depois que o pool estiver aguentando a carga.
Vale saber
Para um projeto inteiro, defina o proxy em um HttpProxyMiddleware personalizado em vez de por requisição.
O host, a porta e o login mostrados aqui são o formato; os seus valores exatos estão no seu painel, prontos para copiar.
Scrapy, com a HProxy
# in your spider
def start_requests(self):
yield scrapy.Request(
"https://ipinfo.io/json",
meta={"proxy": "http://user-country-us:[email protected]:8080"},
)Scrapy perguntas
Perguntas frequentes
Onde o proxy deve ficar em um projeto Scrapy?
Por requisição serve para um trabalho rápido, e para um projeto inteiro um middleware personalizado baseado no HttpProxyMiddleware é o lugar certo. Definir de forma central significa que cada spider herda a configuração e você muda o endpoint em um arquivo em vez de em cada requisição que monta.
Como rotaciono proxies no Scrapy?
Com um proxy gateway você não precisa: o pool atribui uma saída diferente por requisição atrás de um endpoint que não muda. Se você mesmo gerencia uma lista de endereços individuais, um middleware que atribui um por requisição é a abordagem comum, embora tenha mais peças móveis para o mesmo resultado.
Como a simultaneidade do Scrapy interage com os limites do proxy?
Diretamente, e vale a pena definir isso com cuidado. As configurações de requisições simultâneas do Scrapy decidem quanto tráfego você empurra de uma vez, e empurrar muita simultaneidade por poucos endereços dispara a limitação de taxa por endereço mais rápido do que rodar em sequência. Simultaneidade e tamanho do pool precisam andar juntos.
Ainda devo respeitar o robots.txt no Scrapy?
O Scrapy respeita o arquivo por padrão, e vale a pena manter esse padrão. Caminhos proibidos são exatamente o que nada legítimo pede, então ignorar o arquivo é um dos jeitos mais garantidos de ter um endereço sinalizado, além de ser uma má prática.
Outras integrações
Mais guias de configuração
Prontos quando você estiver.
Seu painel está a dez segundos de distância. Sem ligação de vendas, sem assinatura, sem mínimo.

