Integrações · Automação e scraping
Use a HProxy com Python Requests.
- 3 passos
- Código funcionando
- HTTP e SOCKS5
- Login na URL do proxy
Por que um proxy
Por que usar um proxy com Python Requests
O Requests é a biblioteca HTTP mais usada em Python, a escolha padrão para scripts, scrapers e clientes de API.
Um script que acessa um site repetidamente a partir de um endereço é exatamente o padrão que os limites de taxa foram feitos para pegar. Passar o Requests por um pool residencial rotativo distribui o tráfego para que cada endereço fique fora do radar.
Setup
Configurando a HProxy no Python Requests
- 1
Copie o host, a porta e o login do seu proxy no painel da HProxy.
- 2
Monte um dict proxies apontando http e https para a mesma URL de proxy.
- 3
Passe para cada requisição, ou defina uma vez em uma sessão.
Vale saber
O nome de usuário leva a segmentação: user-country-de faz você sair pela Alemanha, adicione -city-frankfurt para ir mais fundo.
O host, a porta e o login mostrados aqui são o formato; os seus valores exatos estão no seu painel, prontos para copiar.
Python Requests, com a HProxy
import requests
proxies = {
"http": "http://user-country-us:[email protected]:8080",
"https": "http://user-country-us:[email protected]:8080",
}
r = requests.get("https://ipinfo.io/json", proxies=proxies)
print(r.json())Python Requests perguntas
Perguntas frequentes
Por que o requests ainda mostra o meu IP real?
Geralmente porque o dict proxies cobria só um esquema. Defina as chaves http e https, já que uma requisição para uma URL HTTPS usa a entrada https e um dict só com http manda essa requisição direto sem aviso. Verifique buscando um endpoint de eco de IP pela sessão, sem presumir.
Como uso um proxy para todas as requisições?
Defina uma vez em um objeto Session e use essa sessão em todo lugar, em vez de passar o argumento em cada chamada. É menos código, mantém as conexões vivas entre as requisições e elimina o tipo de bug em que uma chamada vai direto sem aviso porque o argumento foi esquecido.
Por que o meu scraper funciona em um navegador mas falha a partir do requests?
Na maioria das vezes, a impressão digital TLS. O handshake que um cliente HTTP em Python envia é diferente do de um navegador, por mais cuidado que você tenha ao copiar os cabeçalhos, e os sistemas de detecção o leem antes de a sua requisição ser descriptografada. Copiar o user agent não muda o handshake por baixo dele.
O requests resolve o DNS pelo proxy?
Para um proxy HTTP que recebe uma URL completa, o proxy geralmente resolve o nome de host do lado dele. Para SOCKS, depende do esquema que você usa: a variante que resolve remotamente mantém a consulta do lado do proxy, enquanto a outra resolve localmente e produz um vazamento de DNS que mostra ao seu próprio resolvedor cada destino.
Outras integrações
Mais guias de configuração
Prontos quando você estiver.
Seu painel está a dez segundos de distância. Sem ligação de vendas, sem assinatura, sem mínimo.

