PT
Começar

Glossário

Scraping e automação

Paginação

Como um site divide uma lista longa em muitas páginas ou carregamentos, e a parte de um scraping com mais chance de perder dados sem aviso ou de prender um crawler.

A paginação é como um site serve uma lista longa aos pedaços, sem entregar tudo de uma vez, e é onde as coletas dão errado em silêncio. Pegar a primeira página é fácil; pegar todas as páginas, cada uma exatamente uma vez, e saber quando você tem todas é o trabalho de verdade, e ele está enganosamente cheio de armadilhas. A maioria dos conjuntos de dados incompletos vem de uma paginação tratada um pouquinho errado, bem mais que de coletas bloqueadas.

O mecanismo varia, e a abordagem certa varia junto. As páginas numeradas clássicas ou um link de próxima são o caso amigável: siga o link até ele sumir. A paginação por deslocamento, página 2, página 3, é simples, mas quebra quando a lista muda por baixo de você, pulando ou duplicando itens em silêncio conforme as coisas se movem entre as requisições. A paginação por cursor, em que cada resposta entrega um token para a próxima, é a forma moderna robusta e a que mais recompensa chamar diretamente o endpoint de dados. E a rolagem infinita não tem páginas: o conteúdo carrega conforme você rola, o que normalmente significa uma requisição em segundo plano que você pode encontrar e chamar, sem precisar renderizar a página.

Esse último ponto é o movimento de maior alavanca, e ele se liga aos verbetes sobre renderização e API. A rolagem infinita e as listas carregadas dinamicamente parecem exigir um navegador headless rolando para sempre, mas a rolagem quase sempre dispara uma requisição de dados paginada por baixo, e chamar essa requisição diretamente com o parâmetro de página ou cursor dá a você a lista inteira em fragmentos limpos, mais rápido e mais barato que pilotar um navegador. Encontrar a paginação na aba de rede muitas vezes é o momento em que uma coleta difícil vira uma fácil.

Dois modos de falha merecem ser nomeados porque são muito comuns. O primeiro é parar cedo demais, tratando de forma inconsistente uma página vazia ou um link de próxima ausente e terminando em silêncio com três quartos dos dados, e é por isso que validar a contagem total contra a que o site declara importa. O segundo é a armadilha de crawler que o verbete sobre crawlers descreve: filtros facetados e calendários geram páginas válidas sem fim a partir de um conteúdo finito, então paginar sem limites de escopo leva um crawler a um espaço infinito. A paginação é onde a cobertura se ganha ou se perde, tanto do lado de menos quanto do lado de mais.

Perguntas frequentes

Como faço scraping de todas as páginas de uma lista, além da primeira?

Combine o método. Siga os links de próxima até sumirem na paginação clássica; incremente os deslocamentos com cuidado nas páginas numeradas, de olho em itens que se movem entre as requisições; siga o token que cada resposta entrega na paginação por cursor, a mais confiável. Na rolagem infinita, encontre a requisição em segundo plano disparada enquanto você rola e chame-a diretamente com o parâmetro de página ou cursor.

Como faço scraping de páginas com rolagem infinita?

Normalmente sem rolar nada. A rolagem infinita dispara uma requisição de dados paginada em segundo plano quando você chega ao fim, então abra a aba de rede, encontre essa requisição e chame-a diretamente com o parâmetro de página ou cursor para puxar a lista inteira em fragmentos limpos. Isso é mais rápido e mais barato que pilotar um navegador headless rolando sem fim, e menos frágil.

Por que meu scraper está perdendo dados entre as páginas?

Na maioria das vezes por uma paginação tratada um pouco errado: parar cedo em uma página vazia inconsistente ou em um link de próxima ausente, ou usar deslocamentos em uma lista que muda entre as requisições, de modo que itens são pulados ou duplicados. Valide o total coletado contra a contagem que o site informa e prefira a paginação por cursor ou um endpoint de dados direto, bem menos sujeitos a lacunas silenciosas.

Voltar ao glossário completo.

HProxy.

As definições só levam você até certo ponto. Executar contra alvos reais.

Residenciais a partir de US$ 0,23 por GB, pagamento conforme o uso, e o saldo nunca expira.

HProxy