PT
Começar

Glossário

Scraping e automação

Navegador headless

Um navegador real rodando sem janela visível, usado para renderizar páginas pesadas em JavaScript na automação.

Um navegador headless é um navegador completo, Chrome ou Firefox, rodando sem a janela gráfica que uma pessoa veria. Ele renderiza as páginas exatamente como um navegador real, executa o JavaScript delas e constrói o mesmo DOM, só que é pilotado por código em vez de um humano, e é isso que faz dele a ferramenta para fazer scraping de sites que uma requisição HTTP simples não consegue ler.

O problema é que o modo headless deixa rastros. Historicamente, a própria marca de headless era detectável, e mesmo hoje uma instância headless tende a não ter os plugins, as peculiaridades exatas de renderização e os padrões de interação de uma sessão de usuário genuína, e a impressão digital consegue captar tudo isso.

Então um navegador headless é necessário para renderizar, mas insuficiente para passar despercebido. Ele é combinado com um proxy residencial para corrigir a pista de rede e com o gerenciamento de impressão digital e comportamento para corrigir o resto.

O lado do custo costuma ser subestimado, e na cobrança por gigabyte é o que destrói um orçamento em silêncio. Um navegador busca a página do jeito que um navegador busca: cada imagem, fonte, folha de estilo, script de rastreamento e pré-carregamento de vídeo. Uma página de produto cujos dados úteis são cinquenta kilobytes de HTML pode puxar dois ou três megabytes no total. Multiplique isso por um trabalho grande em banda residencial, e a fatura passa a ser do navegador, com o proxy em segundo plano.

Ele também é mais pesado em todas as outras dimensões. Uma instância de navegador headless consome centenas de megabytes de memória e CPU de verdade, onde uma requisição HTTP quase não consome nada, então a concorrência que você consegue sustentar na mesma máquina cai uma ordem de grandeza. Essa limitação muitas vezes pesa mais que a diferença de velocidade por requisição.

Isso faz da primeira pergunta a fazer se você precisa mesmo de um, antes de pensar em como rodá-lo bem. Muitas páginas que parecem renderizadas por JavaScript são alimentadas por um endpoint JSON que a própria página chama, e chamar esse endpoint diretamente devolve os mesmos dados em uma fração do tamanho, sem renderização. Encontrá-lo na aba de rede muitas vezes é a hora mais valiosa de um projeto de scraping.

Quando você realmente precisa de renderização, bloqueie o que não vai interpretar. Todo framework de automação importante consegue interceptar requisições por tipo de recurso, e recusar imagens, fontes, mídia e folhas de estilo corta a banda drasticamente, mantendo intacto o DOM que você veio buscar.

Perguntas frequentes

Preciso de um navegador headless para fazer scraping?

Só quando os dados realmente não existem até o JavaScript rodar, o que acontece menos do que parece. Confira se a página é alimentada por um endpoint JSON que você pode chamar diretamente, porque ele devolve os mesmos dados bem menores e mais rápido, sem renderização nenhuma. Recorra a um navegador quando tiver confirmado que não há caminho mais simples.

Como reduzo a banda ao usar um navegador headless?

Intercepte as requisições e bloqueie os tipos de recurso que você não vai interpretar: imagens, mídia, fontes e, normalmente, folhas de estilo. Todo framework importante suporta isso. Costuma cortar o peso da página em uma ordem de grandeza, mantendo o DOM intacto, o que importa muito na cobrança residencial por gigabyte.

Os sites conseguem detectar um navegador headless?

Sim, e tratá-lo como um navegador real invisível é o erro habitual. Além da antiga marca de headless, uma instância tende a diferir nas propriedades que expõe, nos plugins e fontes presentes, no comportamento de renderização e, acima de tudo, na ausência total de interação humana: nenhum movimento de mouse, nenhuma rolagem, nenhuma pausa de leitura. O comportamento o denuncia com mais confiabilidade que qualquer propriedade isolada.

Um navegador headless é mais lento que requisições HTTP?

Drasticamente, em tempo e em recursos. Ele baixa e renderiza uma página inteira em vez de buscar um documento, e cada instância consome centenas de megabytes de memória e CPU de verdade. A consequência prática é que a concorrência que você consegue sustentar em uma máquina cai mais ou menos uma ordem de grandeza.

Voltar ao glossário completo.

HProxy.

As definições só levam você até certo ponto. Executar contra alvos reais.

Residenciais a partir de US$ 0,23 por GB, pagamento conforme o uso, e o saldo nunca expira.

HProxy