Integrações · Automação e scraping
Use a HProxy com Scrapling.
- 5 passos
- Código funcionando
- HTTP e SOCKS5
- Login na URL do proxy
Por que um proxy
Por que usar um proxy com Scrapling
O Scrapling é um framework de scraping em Python com dois fetchers em um pacote: HTTP simples com a impressão digital TLS de um navegador, e um navegador furtivo que resolve desafios do Cloudflare. Desde a versão 0.4 ele também traz o seu próprio framework de spiders. A versão 0.5 removeu o fetcher Playwright mais antigo, DynamicFetcher, então código escrito para a 0.4 que o importa precisa migrar para o StealthyFetcher.
O Scrapling muda a aparência de uma requisição, e o endereço de onde ela vem continua sendo o seu. Os sites contam requisições por endereço, então um crawl a partir de um IP para depois de algumas centenas de páginas, por melhor que seja a impressão digital. Um pool residencial rotativo dá a cada requisição, ou a cada sessão, o seu próprio endereço.
Setup
Configurando a HProxy no Scrapling
- 1
Instale os fetchers: pip install "scrapling[fetchers]", depois rode scrapling install uma vez para os navegadores.
- 2
Copie o host, a porta e o login do seu proxy no painel da HProxy.
- 3
Pass proxy= to a fetcher or a session. The HTTP fetcher also takes proxy_auth=(user, pass), which keeps the password out of the logs.
- 4
For several lines, build a ProxyRotator from the list and pass it as proxy_rotator= to the session.
- 5
Busque uma página de eco de IP uma vez pela sessão e confirme o endereço antes de uma execução real.
Vale saber
Os fetchers de navegador aceitam só http, https, socks4 e socks5, e SOCKS5 com login falha no navegador. Ali, use a linha HTTP do mesmo proxy.
O host, a porta e o login mostrados aqui são o formato; os seus valores exatos estão no seu painel, prontos para copiar.
Scrapling, com a HProxy
from scrapling.fetchers import Fetcher, StealthyFetcher
# HTTP fetcher: the login stays out of the proxy URL
page = Fetcher.get(
"https://ipinfo.io/json",
proxy="http://example.hproxy.com:8080",
proxy_auth=("user-country-us", "pass"),
)
print(page.json())
# Stealth browser: same proxy, as a URL with the login inside
page = StealthyFetcher.fetch(
"https://ipinfo.io/json",
proxy="http://user-country-us:[email protected]:8080",
block_webrtc=True,
)Scrapling perguntas
Perguntas frequentes
Como rotaciono proxies no Scrapling?
With a rotating gateway you do not need to: one unchanged endpoint hands out a different exit per request. For a list of fixed lines, create ProxyRotator([...]) from scrapling.fetchers and pass it as proxy_rotator= to a session. It cycles in order and accepts a custom strategy function. A session takes proxy_rotator= or proxy=, never both.
Por que a minha sessão do Scrapling ignora o proxy?
From version 0.4 to 0.4.8, FetcherSession(proxy=...) was silently ignored and requests left from the real IP. The fix shipped in 0.4.9. Update Scrapling, then fetch an IP echo page through the session to confirm the address it shows.
Por que a senha do meu proxy falha no fetcher de navegador do Scrapling?
Antes da versão 0.5.1, os fetchers de navegador passavam ao navegador o login de uma URL de proxy ainda codificado com porcentagem. Uma senha escrita como p%40ss chegava ao proxy como p%40ss, e o proxy respondia 407. A versão 0.5.1 a decodifica. Em uma versão mais antiga, passe o proxy como um dicionário com server, username e password, que recebe o login como digitado.
O Scrapling suporta proxies SOCKS5?
O fetcher HTTP suporta. Os fetchers de navegador aceitam uma linha socks5:// só sem login, porque o navegador por baixo recusa autenticação SOCKS5, e rejeitam socks5h:// com Invalid proxy string. Com nome de usuário e senha, use a linha HTTP do mesmo proxy.
Qual fetcher deve levar o proxy em um fluxo de login?
Uma sessão, com uma linha fixa. O StealthySession mantém um navegador aberto entre as requisições, e um login só sobrevive quando o endereço continua o mesmo durante toda a sua duração. Uma linha rotativa serve para leituras página por página com o Fetcher, em que nenhum estado é mantido.
Como mantenho baixo o tráfego residencial nos fetchers de navegador do Scrapling?
Turn on disable_resources=True and block_ads=True. A browser loads images, fonts and trackers that a scraper never reads, and residential traffic is billed per gigabyte. Both options are off by default.
Outras integrações
Mais guias de configuração
Prontos quando você estiver.
Seu painel está a dez segundos de distância. Sem ligação de vendas, sem assinatura, sem mínimo.


