PT
Começar

Glossário

Desempenho

Banda

O volume de dados que um proxy consegue transferir, e a unidade pela qual proxies residenciais e móveis costumam ser cobrados.

A largura de banda é quanto dado uma conexão consegue mover, e em um proxy residencial ela também é a fatura. Esses pools são cobrados por gigabyte porque a oferta é medida por conexões reais por trás, então o tráfego, mais que os endereços, é o recurso que você está realmente comprando. Esse único fato muda o jeito como você deve escrever um scraper.

A mudança é que o peso da página vira um item da conta. Uma página de produto moderna costuma ter de um a três megabytes, e a esmagadora maioria disso são imagens, fontes, vídeos, scripts de rastreamento e folhas de estilo. O HTML com os dados que você realmente quer muitas vezes tem menos de cem kilobytes disso. Se você busca a página como um navegador faz, está pagando tarifas residenciais para baixar fotos que descarta na hora.

Isso faz da disciplina com a banda o controle de custo de maior alavanca disponível, e ele não exige negociar com ninguém. Peça compressão e respeite-a. Busque o documento sem puxar automaticamente cada recurso referenciado. Se você está pilotando um navegador real, bloqueie as requisições de imagem, mídia e fonte na camada de rede, já que um navegador headless busca tudo por padrão, exatamente como um real. Prefira o endpoint JSON de um site à página renderizada quando ele existir, porque costuma ter uma fração do tamanho e é mais fácil de interpretar.

As novas tentativas merecem uma menção própria porque são o multiplicador silencioso. Uma requisição que falhou depois de já ter transferido a maior parte de uma resposta ainda custou esse tráfego, então uma política agressiva de novas tentativas contra um alvo instável pode dobrar uma conta sem coletar nada a mais. Falhar rápido sai mais barato que falhar repetidamente.

Também vale separar largura de banda de latência, porque elas são independentes e as pessoas as confundem rotineiramente. A largura de banda é quanto cabe por segundo; a latência é quanto tempo leva uma única ida e volta. Uma conexão pode ter muito de uma e pouco da outra. A coleta em massa é governada pela banda e pela concorrência, enquanto tudo o que é interativo é sentido primeiro como latência, e comprar mais da errada não resolve nada.

Por fim, nem toda família é cobrada assim. Os proxies de datacenter e de ISP normalmente são vendidos por endereço, com tráfego generoso ou sem medição, porque a oferta é uma máquina em um rack, longe da linha doméstica medida de alguém. Se uma carga de trabalho é realmente pesada em banda e o alvo não filtra por tipo de rede, passá-la para um proxy de datacenter muitas vezes economiza mais que qualquer ajuste de requisições.

Como a HProxy lida com isso

Como o residencial é cobrado por gigabyte, o conselho mais barato que podemos dar muitas vezes é usar menos dele, sem comprar mais: busque o que você interpreta, e passe o trabalho realmente pesado em banda que não precisa da confiança residencial para endereços de datacenter.

Perguntas frequentes

Como reduzo os custos de banda dos proxies?

Pare de baixar o que você não interpreta. Ative a compressão, evite puxar imagens, fontes, vídeos e folhas de estilo se não precisar deles e, se pilota um navegador headless, bloqueie esses tipos de requisição explicitamente, porque ele busca tudo por padrão. Prefira um endpoint JSON a uma página renderizada onde ele existir. E mantenha as novas tentativas sob controle, já que uma requisição repetida paga pelo tráfego que já moveu.

Por que meu uso de banda é maior do que o tamanho da página sugere?

Normalmente porque você está medindo o HTML e pagando pela página inteira. Cada imagem, fonte, script e folha de estilo que um navegador puxa conta, assim como redirecionamentos, tentativas falhas e novas tentativas que transferiram uma resposta parcial antes de desistir. Os handshakes TLS e os cabeçalhos somam um pouco por cima. Meça o que realmente passou pelo fio, sem olhar o tamanho do documento que você guardou.

Banda ilimitada existe de verdade?

Existe, e em geral vem presa a outra limitação, sem ficar livre de limitação. O tráfego sem medição costuma ser vendido por endereço, por porta ou com um teto de concorrência, o que combina com a oferta de datacenter e de ISP, em que o custo é uma máquina, longe do tráfego de consumo medido. Leia qual é o limite de verdade, porque sempre existe um em algum lugar.

Largura de banda ou latência, o que importa para o scraping?

A banda e a concorrência governam a coleta em massa: o volume total movido em uma janela. A latência governa tudo o que é interativo ou sequencial, em que cada ida e volta precisa terminar antes de a próxima começar. Se o seu trabalho é uma fila longa de buscas independentes, mais concorrência ajuda e uma latência menor mal aparece; se cada etapa depende da anterior, vale o contrário.

Voltar ao glossário completo.

HProxy.

Não acredite só na nossa palavra. Meça você mesmo.

Roda no seu navegador contra o endereço real. Sem cadastro, sem lista armazenada.

HProxy