PT
Começar

Integrações · Automação e scraping

Use HProxy with cURL.

Teste um proxy da HProxy pela linha de comando antes de ligá-lo a qualquer coisa.
  • 3 passos
  • Código funcionando
  • HTTP e SOCKS5
  • Login na URL do proxy

Por que um proxy

Por que usar um proxy com cURL

O cURL é o cliente HTTP de linha de comando que vem em quase todo sistema, o jeito mais rápido de confirmar que um proxy funciona.

Antes de depurar um scraper, prove que o proxy em si está bom. Uma chamada cURL por ele, verificando o IP que retorna, separa um problema do proxy de um problema do código.

Setup

Configurando a HProxy no cURL

  1. 1

    Pegue o seu host, porta e login no painel.

  2. 2

    Passe o proxy com -x e o login com -U.

  3. 3

    Acesse um endpoint de eco de IP e confirme que o endereço e o país voltam como esperado.

Vale saber

Se isto retorna o país certo e a sua ferramenta não, o problema está na configuração da ferramenta.

O host, a porta e o login mostrados aqui são o formato; os seus valores exatos estão no seu painel, prontos para copiar.

cURL, with HProxy

curl -x example.hproxy.com:8080 \
  -U "user-country-us:pass" \
  https://ipinfo.io/json

cURL perguntas

Perguntas frequentes

Como testo um proxy pela linha de comando?

Envie uma requisição por ele para um endpoint que devolve o endereço que viu, e leia o que volta. Esse único comando resolve a pergunta da qual todo o resto depende: se o proxy funciona, e qual endereço e país de saída você realmente recebeu. Faça isso antes de depurar qualquer coisa na sua aplicação.

O cURL funciona mas o meu scraper não, e agora?

Então o proxy está bem e o problema está na configuração da ferramenta, e é exatamente por isso que vale rodar este teste primeiro. Verifique se o seu cliente define o proxy para o esquema certo, se as credenciais estão sendo enviadas e se nada está voltando silenciosamente para uma conexão direta no HTTPS.

Como vejo os cabeçalhos que um proxy está adicionando?

Faça uma requisição a um endpoint que devolve os cabeçalhos que recebeu e leia-os. O seu próprio endereço aparecendo em qualquer lugar significa que o proxy é transparente; Via ou X-Forwarded-For presentes sem o seu endereço significa anônimo; nenhum deles presente significa elite. É o grau de anonimato medido de fato.

Por que o cURL falha com um erro de SSL através de um proxy?

Geralmente porque algo está interceptando a conexão em vez de tunelá-la, o que é normal em uma rede corporativa que roda o seu próprio proxy de inspeção e anormal em qualquer outro caso. Desativar a verificação faz o erro sumir e esconde o motivo, então vale entender a causa antes de recorrer a essa flag.

Como uso SOCKS5 com o cURL?

Há uma opção dedicada para proxies SOCKS, separada da opção de proxy geral, e uma variante que resolve os nomes de host no proxy em vez de localmente. Prefira a forma que resolve remotamente, porque a local produz um vazamento de DNS que mostra ao seu próprio resolvedor cada destino que você visita.

Prontos quando você estiver.

Seu painel está a dez segundos de distância. Sem ligação de vendas, sem assinatura, sem mínimo.