PT
Começar

Glossário

Scraping e automação

Scraping de API

Coletar dados chamando os endpoints JSON que uma página usa em vez de processar o HTML dela, geralmente o caminho mais rápido, barato e confiável quando existe.

Fazer scraping de API significa ir à fonte que a própria página usa. A maioria dos sites modernos não embute os dados no HTML; eles enviam uma casca e depois buscam o conteúdo real em endpoints JSON em segundo plano. Esses endpoints existem para servir o front-end do próprio site, e na grande maioria dos casos você pode chamá-los diretamente, recebendo dados estruturados em vez de uma página renderizada que teria de interpretar. Quando um está disponível, quase sempre é a resposta certa.

As vantagens se somam em tudo o mais deste glossário. Você pula a renderização, então nada de navegador headless e do custo dele. Pula a interpretação, porque o JSON já é estruturado, então nada de seletores para manter contra mudanças de layout. Transfere uma fração dos bytes, já que não puxa imagens, fontes e scripts, o que na cobrança por gigabyte é uma economia direta. E os dados costumam ser mais limpos e mais completos do que a página mostra, porque o endpoint muitas vezes devolve campos que o front-end escolhe não exibir.

Encontrá-los é uma habilidade repetível, sem depender de sorte. Abra a aba de rede do navegador, filtre as requisições que devolvem JSON e observe quais disparam quando os dados que você quer aparecem, no carregamento, na rolagem, no clique em um filtro. A paginação e os parâmetros ficam visíveis nessas requisições, então você aprende a pedir a página dois, ou uma categoria específica, ou um intervalo de datas, lendo o que o site pede. Essa meia hora na aba de rede muitas vezes é o trabalho mais valioso de todo o projeto.

As ressalvas honestas impedem que isso seja mágica. Esses endpoints não são documentados e podem mudar sem aviso, já que são internos, então precisam de monitoramento como qualquer coleta. Muitas vezes eles têm a própria autenticação, tokens ou parâmetros assinados que a página gera, o que às vezes precisa ser reproduzido e de vez em quando é a parte difícil. Eles têm limite de requisições e são protegidos como qualquer outra superfície, então proxies e ritmo continuam valendo. E onde um site realmente renderiza os dados no servidor dentro do HTML, sem endpoint separado, o scraping de API simplesmente não se aplica e a interpretação é o caminho. Mas quando um endpoint está lá, ir primeiro ao HTML é fazer a versão difícil de um trabalho fácil.

Perguntas frequentes

Como encontro a API escondida de um site?

Abra a aba de rede do navegador, filtre as requisições que devolvem JSON e observe quais disparam quando os dados que você quer aparecem, no carregamento, na rolagem, no clique em um filtro. Essas requisições revelam o endpoint, os parâmetros e a paginação dele, então você pode chamá-lo diretamente. É uma habilidade repetível, e a meia hora que ela leva muitas vezes poupa todo o resto do projeto.

Fazer scraping de uma API é melhor que de HTML?

Quando existe um endpoint, quase sempre. Você pula a renderização e a interpretação, transfere bem menos bytes e recebe dados estruturados que muitas vezes são mais limpos e mais completos do que a página mostra, e mais estáveis, porque não quebram com mudanças de layout. As exceções são os sites que renderizam os dados dentro do HTML sem endpoint separado, onde a interpretação é o único caminho.

Ainda preciso de proxies para fazer scraping de API?

Sim. Os endpoints internos de um site têm limite de requisições e são protegidos como qualquer outra superfície, com o seu endereço como chave do mesmo jeito, então o pool, a rotação e o ritmo que você usaria no HTML valem sem mudança. O que muda é o custo e a confiabilidade de cada requisição; o alvo continua contando e filtrando as requisições.

Voltar ao glossário completo.

HProxy.

As definições só levam você até certo ponto. Executar contra alvos reais.

Residenciais a partir de US$ 0,23 por GB, pagamento conforme o uso, e o saldo nunca expira.

HProxy