PT
Começar

Integrações · Automação e scraping

Use a HProxy com Puppeteer.

Rode o Chrome headless por um proxy da HProxy com o Puppeteer e page.authenticate.
  • 3 passos
  • Código funcionando
  • HTTP e SOCKS5
  • Login na URL do proxy

Por que um proxy

Por que usar um proxy com Puppeteer

O Puppeteer controla o Chrome headless (ou com interface) a partir do Node, a escolha padrão para scraping com muita renderização e testes automatizados no mundo JavaScript.

Um Chrome headless a partir de um IP de datacenter é uma impressão digital que os sites reconhecem de cara. Uma saída residencial elimina a metade desse sinal que vem da rede, para que o comportamento do navegador seja o que é julgado.

Setup

Configurando a HProxy no Puppeteer

  1. 1

    Abra o Chrome com --proxy-server apontando para o seu host e porta.

  2. 2

    Como o proxy exige login, chame page.authenticate() com o seu nome de usuário e senha antes de navegar.

  3. 3

    Navegue normalmente; o carregamento inteiro da página agora passa pelo proxy.

Vale saber

O nome de usuário e a senha vão por page.authenticate(); a flag --proxy-server não os aceita.

O host, a porta e o login mostrados aqui são o formato; os seus valores exatos estão no seu painel, prontos para copiar.

Puppeteer, com a HProxy

import puppeteer from "puppeteer";

const browser = await puppeteer.launch({
  args: ["--proxy-server=example.hproxy.com:8080"],
});
const page = await browser.newPage();
await page.authenticate({ username: "user-country-us", password: "pass" });
await page.goto("https://ipinfo.io/json");

Puppeteer perguntas

Perguntas frequentes

Por que a flag proxy-server não aceita o meu nome de usuário e senha?

Porque essa flag do Chrome só aceita um host e uma porta. As credenciais vão por page.authenticate, chamado antes de navegar. Esse é o motivo mais comum de uma configuração de proxy no Puppeteer retornar erros de autenticação que parecem um proxy errado.

Preciso autenticar em cada página?

Sim. A autenticação é definida por página, então cada página nova que você abre precisa da chamada antes de navegar. Esquecer em uma segunda página produz uma falha que parece intermitente e é totalmente determinística.

Como dou a cada página do Puppeteer um IP diferente?

Abra uma instância de navegador separada por identidade em vez de abrir mais páginas, porque a flag de proxy é definida na abertura e as páginas dentro de um navegador a compartilham. Com um proxy rotativo, cada nova abertura pega uma saída nova automaticamente.

Como impeço o Puppeteer de baixar imagens?

Ative a interceptação de requisições e cancele as requisições cujo tipo de recurso seja imagem, fonte, mídia ou folha de estilo. É a mudança de maior impacto que você pode fazer na cobrança por gigabyte, porque um navegador headless busca tudo isso por padrão, exatamente como um real.

Prontos quando você estiver.

Seu painel está a dez segundos de distância. Sem ligação de vendas, sem assinatura, sem mínimo.