PT
Começar

Integrações · Automação e scraping

Use a HProxy com Selenium.

Controle um navegador real por um proxy da HProxy com autenticação usando o Selenium.
ComeçarLer o guia completo
  • 3 passos
  • Código funcionando
  • HTTP e SOCKS5
  • Login na URL do proxy

Por que um proxy

Por que usar um proxy com Selenium

O Selenium automatiza um navegador real, a ferramenta preferida quando um site só cede a algo que renderiza JavaScript e se comporta como uma pessoa.

Um navegador com interface convence até que todas as sessões venham do mesmo IP. Uma saída residencial por sessão é o que permite ao Selenium escalar além de algumas execuções antes que um site comece a desafiá-lo.

Setup

Configurando a HProxy no Selenium

  1. 1

    Instale o Selenium Wire (pip install selenium-wire), que adiciona o suporte a proxy com autenticação que falta no Selenium puro.

  2. 2

    Coloque o seu host, porta e login na configuração de proxy do seleniumwire_options.

  3. 3

    Inicie o driver normalmente; toda requisição que o navegador faz agora sai pelo proxy.

Vale saber

O Selenium puro não consegue passar um nome de usuário e uma senha de proxy; o Selenium Wire é o jeito padrão de contornar isso.

O host, a porta e o login mostrados aqui são o formato; os seus valores exatos estão no seu painel, prontos para copiar.

Selenium, com a HProxy

from seleniumwire import webdriver

opts = {"proxy": {
  "http":  "http://user-country-us:[email protected]:8080",
  "https": "http://user-country-us:[email protected]:8080",
}}
driver = webdriver.Chrome(seleniumwire_options=opts)
driver.get("https://ipinfo.io/json")

Selenium perguntas

Perguntas frequentes

Por que o Selenium ignora o nome de usuário e a senha do meu proxy?

Porque o Selenium puro não consegue enviar credenciais de proxy. A flag proxy-server que ele passa ao navegador aceita um host e uma porta e não tem campo para autenticação, então um proxy com autenticação simplesmente falha. O Selenium Wire é o jeito padrão de contornar isso, e é por isso que o exemplo acima o usa em vez do Selenium puro.

Posso usar uma lista de IPs liberados em vez do Selenium Wire?

Sim, e em um servidor fixo é a resposta mais simples. Libere o endereço da máquina com o seu provedor e o proxy aceita a conexão sem credenciais, o que significa que o Selenium puro funciona só com host e porta. Para de funcionar no momento em que o endereço dessa máquina muda.

O Selenium vaza o meu IP real pelo WebRTC?

Pode, porque ele controla um navegador real e o WebRTC descobre o seu endereço totalmente fora do caminho do proxy. O proxy nunca esteve em posição de ver esse tráfego. Desative ou restrinja o WebRTC nas opções do navegador se o endereço de saída é a identidade que importa.

Como rotaciono IPs entre sessões do Selenium?

Inicie um novo driver com credenciais novas em vez de tentar trocar o proxy de um que está rodando. Com um proxy rotativo você recebe uma saída diferente automaticamente; com uma sessão fixa, peça um novo identificador de sessão. Reutilizar um driver também mantém o mesmo perfil de navegador, o que anula a rotação de qualquer forma.

Prontos quando você estiver.

Seu painel está a dez segundos de distância. Sem ligação de vendas, sem assinatura, sem mínimo.