Renderização de JavaScript
O processo pelo qual as páginas montam o conteúdo no navegador depois de carregar, que decide se buscar o HTML traz dados ou uma casca vazia.
A requisição dá certo, o HTML chega, e os dados não estão nele. Veja a mesma página em um navegador e tudo está lá. Nada falhou: o site renderiza no lado do cliente, o que significa que o documento que você buscou é um palco quase vazio, e o conteúdo é construído depois do carregamento por um JavaScript que busca os dados e os escreve na página. O seu cliente HTTP recebeu exatamente o que o navegador recebeu; o navegador então fez um trabalho que o seu cliente não faz.
Qual arquitetura um site usa é a primeira pergunta de diagnóstico de qualquer scraping, e ela se responde em segundos. O ver código-fonte do navegador mostra o documento como foi entregue; o inspetor de elementos das ferramentas de desenvolvedor mostra a árvore depois que os scripts rodaram. Se o preço está no segundo e não no primeiro, você está diante de renderização no lado do cliente. A aba de rede então mostra o fato mais útil: DE ONDE os scripts tiraram os dados, quase sempre uma requisição JSON organizada que o seu cliente poderia fazer diretamente.
Essa observação ordena toda a caixa de ferramentas. A melhor resposta a uma página renderizada normalmente é evitar renderizar: chame o endpoint de dados por trás e receba campos estruturados com uma fração da transferência. Quase tão bom, os frameworks renderizados no servidor embutem o estado completo como um bloco JSON dentro do HTML entregue, os sites atuais em React e Next.js o levam em uma tag script, e interpretar esse bloco rende tudo o que a página sabe sem executar nada. Só quando nenhum dos dois existe a opção pesada se justifica: um navegador headless que realmente roda a página, com o custo e a detectabilidade que isso traz.
O caso intermediário merece uma nota própria porque hoje é o comum. A hidratação, o padrão em que os servidores entregam HTML real e os scripts depois acrescentam a interatividade, significa que muitas páginas modernas SÃO coletáveis a partir do documento bruto, e a era da casca vazia em parte acabou. A armadilha se inverte: o conteúdo presente no momento da busca ainda pode ser SUBSTITUÍDO depois do carregamento, preços atualizados por uma requisição mais recente, variantes regionais trocadas, então bater com o que um usuário vê às vezes exige renderizar mesmo quando o HTML buscado parecia completo.
No planejamento de proxies, a renderização multiplica tudo. Um carregamento de página renderizada dispara dezenas de requisições, scripts, chamadas de dados, recursos, cada uma pela sua saída, então a cobrança por gigabyte sente a renderização com mais força, e a superfície adicional, inclusive o comportamento de navegador real, é exatamente onde os sistemas de detecção olham em seguida. A decisão tem consequências suficientes para ser tomada por alvo, sem decidir por projeto: renderize as páginas que exigem isso, e busque a camada de dados em todo o resto.
Perguntas frequentes
Como sei se uma página precisa de renderização de JavaScript para o scraping?
Compare o documento entregue com a árvore ao vivo: o código-fonte contra o inspetor de elementos. Dados presentes só depois que os scripts rodam significam renderização no lado do cliente. Depois abra a aba de rede e descubra de onde vieram os dados; normalmente aparece um endpoint JSON que você pode chamar diretamente, e essa descoberta muitas vezes torna irrelevante a questão da renderização.
Posso fazer scraping de um site em JavaScript sem navegador headless?
Muitas vezes. Os endpoints de dados da própria página podem ser chamados diretamente, e os frameworks renderizados no servidor embutem o estado completo como JSON dentro do HTML, legível com uma única interpretação. Um navegador headless é o último recurso correto para páginas em que os dados realmente só existem depois da execução, sem ser o primeiro passo padrão diante de qualquer coisa que pareça moderna.
O que é hidratação e por que ela importa para o scraping?
Hidratação é o padrão em que o servidor entrega HTML completo e os scripts do cliente depois acrescentam a interatividade por cima. Ela importa porque essas páginas SÃO coletáveis a partir do documento buscado, invertendo a suposição da casca vazia, com uma ressalva: os scripts ainda podem substituir o conteúdo entregue depois do carregamento, então o que você interpretou e o que um usuário vê agora podem se distanciar em dados que se atualizam ao vivo.
A renderização de JavaScript custa mais banda?
Bastante. Executar uma página dispara toda a cascata de requisições de scripts, dados e recursos pela sua saída, facilmente uma ordem de grandeza além de buscar só o documento, o que a cobrança residencial por gigabyte transforma diretamente em dinheiro. Bloquear os tipos de recurso desnecessários recupera boa parte disso, e trocar a renderização pela camada de dados recupera quase tudo.
Voltar ao glossário completo.

