PT
Começar

Integrações · Automação e scraping

Use a HProxy com Axios & Node.js.

Passe o Axios ou o node-fetch por um proxy da HProxy com um agente de proxy.
  • 3 passos
  • Código funcionando
  • HTTP e SOCKS5
  • Login na URL do proxy

Por que um proxy

Por que usar um proxy com Axios & Node.js

O Axios é o cliente HTTP mais popular para Node e para o navegador; no Node, ele precisa de um agente de proxy para passar por um proxy upstream.

Requisições Node do lado do servidor vêm de um datacenter por padrão, a primeira coisa que uma verificação de reputação sinaliza. Um agente residencial coloca um IP de aparência comum na frente de cada chamada.

Setup

Configurando a HProxy no Axios & Node.js

  1. 1

    Instale o https-proxy-agent (npm i https-proxy-agent).

  2. 2

    Monte um agente a partir da URL do seu proxy, com o login.

  3. 3

    Passe o agente para o Axios (httpsAgent) ou para o node-fetch (agent).

O host, a porta e o login mostrados aqui são o formato; os seus valores exatos estão no seu painel, prontos para copiar.

Axios & Node.js, com a HProxy

import axios from "axios";
import { HttpsProxyAgent } from "https-proxy-agent";

const agent = new HttpsProxyAgent("http://user-country-us:[email protected]:8080");
const { data } = await axios.get("https://ipinfo.io/json", { httpsAgent: agent });
console.log(data);

Axios & Node.js perguntas

Perguntas frequentes

Por que a opção de proxy do axios não funciona para HTTPS?

Porque o axios cuida da configuração de proxy sozinho em vez de deixar o agente do Node fazer isso, e esse caminho há muito tempo é instável para alvos HTTPS, muitas vezes ignorando a configuração ou falhando no túnel. A abordagem confiável é um agente de proxy explícito passado como httpsAgent, que é o que o exemplo acima usa.

Preciso definir httpAgent e httpsAgent?

Defina o que corresponde ao esquema que você realmente chama, e definir os dois é o padrão mais seguro quando um trabalho mistura os dois. Um bug comum é configurar só o httpAgent, ver as requisições HTTP roteadas corretamente e nunca perceber que todas as requisições HTTPS foram direto.

Como uso um proxy para todas as chamadas do axios?

Crie uma instância com axios.create e ligue o agente nela, depois use essa instância em todo lugar em vez do axios global. Isso elimina o tipo de bug em que uma chamada foi escrita contra a importação pura e passa por fora do proxy sem aviso.

Por que o meu scraper em Node é bloqueado quando o navegador funciona?

Geralmente a impressão digital TLS. A pilha HTTP do Node negocia a criptografia de forma diferente do Chrome, e os sistemas de detecção leem esse handshake antes de a sua requisição ser descriptografada, então copiar os cabeçalhos e o user agent não muda nada por baixo. É a causa mais comum de um bloqueio que sobrevive à troca de proxies.

Prontos quando você estiver.

Seu painel está a dez segundos de distância. Sem ligação de vendas, sem assinatura, sem mínimo.