Integrações · Automação e scraping
Use HProxy with cURL.
- 3 passos
- Código funcionando
- HTTP e SOCKS5
- Login na URL do proxy
Por que um proxy
Por que usar um proxy com cURL
O cURL é o cliente HTTP de linha de comando que vem em quase todo sistema, o jeito mais rápido de confirmar que um proxy funciona.
Antes de depurar um scraper, prove que o proxy em si está bom. Uma chamada cURL por ele, verificando o IP que retorna, separa um problema do proxy de um problema do código.
Setup
Configurando a HProxy no cURL
- 1
Pegue o seu host, porta e login no painel.
- 2
Passe o proxy com -x e o login com -U.
- 3
Acesse um endpoint de eco de IP e confirme que o endereço e o país voltam como esperado.
Vale saber
Se isto retorna o país certo e a sua ferramenta não, o problema está na configuração da ferramenta.
O host, a porta e o login mostrados aqui são o formato; os seus valores exatos estão no seu painel, prontos para copiar.
cURL, with HProxy
curl -x example.hproxy.com:8080 \
-U "user-country-us:pass" \
https://ipinfo.io/jsoncURL perguntas
Perguntas frequentes
Como testo um proxy pela linha de comando?
Envie uma requisição por ele para um endpoint que devolve o endereço que viu, e leia o que volta. Esse único comando resolve a pergunta da qual todo o resto depende: se o proxy funciona, e qual endereço e país de saída você realmente recebeu. Faça isso antes de depurar qualquer coisa na sua aplicação.
O cURL funciona mas o meu scraper não, e agora?
Então o proxy está bem e o problema está na configuração da ferramenta, e é exatamente por isso que vale rodar este teste primeiro. Verifique se o seu cliente define o proxy para o esquema certo, se as credenciais estão sendo enviadas e se nada está voltando silenciosamente para uma conexão direta no HTTPS.
Como vejo os cabeçalhos que um proxy está adicionando?
Faça uma requisição a um endpoint que devolve os cabeçalhos que recebeu e leia-os. O seu próprio endereço aparecendo em qualquer lugar significa que o proxy é transparente; Via ou X-Forwarded-For presentes sem o seu endereço significa anônimo; nenhum deles presente significa elite. É o grau de anonimato medido de fato.
Por que o cURL falha com um erro de SSL através de um proxy?
Geralmente porque algo está interceptando a conexão em vez de tunelá-la, o que é normal em uma rede corporativa que roda o seu próprio proxy de inspeção e anormal em qualquer outro caso. Desativar a verificação faz o erro sumir e esconde o motivo, então vale entender a causa antes de recorrer a essa flag.
Como uso SOCKS5 com o cURL?
Há uma opção dedicada para proxies SOCKS, separada da opção de proxy geral, e uma variante que resolve os nomes de host no proxy em vez de localmente. Prefira a forma que resolve remotamente, porque a local produz um vazamento de DNS que mostra ao seu próprio resolvedor cada destino que você visita.
Prontos quando você estiver.
Seu painel está a dez segundos de distância. Sem ligação de vendas, sem assinatura, sem mínimo.

