PT
Começar

Integrações · Automação e scraping

Use a HProxy com Scrapy.

Envie cada requisição do Scrapy por uma saída residencial da HProxy.
ComeçarLer o guia completo
  • 3 passos
  • Código funcionando
  • HTTP e SOCKS5
  • Login na URL do proxy

Por que um proxy

Por que usar um proxy com Scrapy

O Scrapy é o framework de scraping dedicado do Python, feito para crawling em volume com o seu próprio agendador, pipelines e middleware.

O Scrapy se dá melhor rodando muitas requisições simultâneas, e é exatamente isso que dispara mais rápido um limite de taxa por IP. Um pool rotativo por trás dele é o que impede que uma configuração de alta simultaneidade bloqueie o crawl inteiro.

Setup

Configurando a HProxy no Scrapy

  1. 1

    Defina o proxy em cada requisição pelo dict meta dela, ou globalmente em um downloader middleware.

  2. 2

    Coloque o seu login na URL do proxy, com host e porta do painel.

  3. 3

    Aumente o CONCURRENT_REQUESTS só depois que o pool estiver aguentando a carga.

Vale saber

Para um projeto inteiro, defina o proxy em um HttpProxyMiddleware personalizado em vez de por requisição.

O host, a porta e o login mostrados aqui são o formato; os seus valores exatos estão no seu painel, prontos para copiar.

Scrapy, com a HProxy

# in your spider
def start_requests(self):
    yield scrapy.Request(
        "https://ipinfo.io/json",
        meta={"proxy": "http://user-country-us:[email protected]:8080"},
    )

Scrapy perguntas

Perguntas frequentes

Onde o proxy deve ficar em um projeto Scrapy?

Por requisição serve para um trabalho rápido, e para um projeto inteiro um middleware personalizado baseado no HttpProxyMiddleware é o lugar certo. Definir de forma central significa que cada spider herda a configuração e você muda o endpoint em um arquivo em vez de em cada requisição que monta.

Como rotaciono proxies no Scrapy?

Com um proxy gateway você não precisa: o pool atribui uma saída diferente por requisição atrás de um endpoint que não muda. Se você mesmo gerencia uma lista de endereços individuais, um middleware que atribui um por requisição é a abordagem comum, embora tenha mais peças móveis para o mesmo resultado.

Como a simultaneidade do Scrapy interage com os limites do proxy?

Diretamente, e vale a pena definir isso com cuidado. As configurações de requisições simultâneas do Scrapy decidem quanto tráfego você empurra de uma vez, e empurrar muita simultaneidade por poucos endereços dispara a limitação de taxa por endereço mais rápido do que rodar em sequência. Simultaneidade e tamanho do pool precisam andar juntos.

Ainda devo respeitar o robots.txt no Scrapy?

O Scrapy respeita o arquivo por padrão, e vale a pena manter esse padrão. Caminhos proibidos são exatamente o que nada legítimo pede, então ignorar o arquivo é um dos jeitos mais garantidos de ter um endereço sinalizado, além de ser uma má prática.

Prontos quando você estiver.

Seu painel está a dez segundos de distância. Sem ligação de vendas, sem assinatura, sem mínimo.