PT
Começar

Glossário

Scraping e automação

Web crawler

Um programa que segue links de página em página para descobrir e buscar conteúdo, o motor de navegação por baixo do scraping em grande escala.

Um crawler descobre; um scraper extrai. Um crawler começa com algumas URLs iniciais e segue os links que encontra, página por página, mapeando um site ou uma fatia da web. O scraping é o que você faz com as páginas que ele busca. Os dois normalmente rodam juntos, e é por isso que as palavras se confundem, mas o crawler é especificamente a parte que decide para onde ir em seguida.

Rastrear em qualquer escala esbarra na mesma parede que o scraping: muitas requisições de um único endereço, descobertas rápido, são limitadas ou bloqueadas. Um crawler que segue milhares de links precisa espalhar essas requisições por um pool, senão ele se estrangula no primeiro domínio movimentado.

Crawlers bem-comportados também respeitam as regras que um site publica para eles, o que é uma questão prática tanto quanto de cortesia: ignorá-las é um dos comportamentos que fazem um endereço ser marcado.

Os problemas difíceis do rastreamento estão em decidir o que buscar e saber quando parar; buscar páginas é a parte fácil. Um crawler ingênuo que segue todo link que vê vai revisitar o mesmo conteúdo por URLs diferentes, entrar em espaços infinitos, como calendários que geram uma nova página para cada data futura, seguir parâmetros de filtro e ordenação que multiplicam uma única listagem em milhares de URLs quase idênticas, e sair do site por completo pelos links externos.

Então a engrenagem que importa é a contabilidade. Um registro normalizado do que já foi visto, para que uma URL com parâmetros reordenados seja reconhecida como a mesma página. Regras explícitas de escopo sobre quais domínios e caminhos estão dentro dos limites. Um limite de profundidade. E educação: um intervalo entre as requisições a um mesmo host e um teto de quantas você faz a ele ao mesmo tempo, porque um crawler que martela um único domínio é indistinguível de um ataque, qualquer que seja a intenção.

Os honeypots são a armadilha específica em que os crawlers caem, e eles exploram exatamente a minúcia que torna um crawler bom. Um link escondido com CSS ou um caminho proibido no robots.txt é algo que nenhum humano jamais pede, então qualquer coisa que o peça se identificou. Seguir todo link que você encontra é o comportamento que está sendo vigiado, e é por isso que renderizar a página e seguir só o que é realmente alcançável é melhor que interpretar o código bruto e seguir tudo o que há nele.

Vale manter clara a diferença em relação a um scraper, porque ela muda o que você otimiza. O trabalho de um crawler é a cobertura: encontrar tudo sem duplicar nem entrar em loops. O trabalho de um scraper é a extração: tirar os campos de uma página com confiabilidade conforme os layouts mudam. A maioria dos projetos precisa dos dois, e eles falham de jeitos completamente diferentes.

Perguntas frequentes

Qual é a diferença entre um crawler e um scraper?

Um crawler descobre e um scraper extrai. O crawler decide quais URLs buscar em seguida, seguindo links e gerenciando o que já viu; o scraper tira os campos que você quer de tudo o que foi buscado. A maioria dos projetos roda os dois, e eles falham de formas diferentes: os crawlers falham entrando em loops ou perdendo cobertura, os scrapers falham quando um layout muda.

Como impeço meu crawler de ficar preso em loops?

Normalize as URLs antes de registrá-las, para que parâmetros de query reordenados ou barras finais não pareçam páginas novas, e confira cada candidata contra o que você já viu. Acrescente um limite de profundidade e regras explícitas de escopo sobre quais domínios e caminhos estão dentro dos limites. Fique de olho em espaços infinitos, como calendários e filtros facetados, que geram URLs válidas ilimitadas a partir de um conteúdo finito.

Qual deve ser a velocidade de um crawler?

Mais devagar do que ele consegue. Espace as requisições ao mesmo host e limite a concorrência por domínio, porque um crawler que satura um site é indistinguível de um ataque, qualquer que seja a sua intenção. Se o robots.txt especificar um intervalo de rastreamento, respeite-o. Espalhar a carga por muitos hosts, sem esgotar um só, é mais rápido no total e bem menos propenso a fazer você ser bloqueado.

Por que meu crawler foi bloqueado se estava sendo educado?

A educação no ritmo não protege você de cair em um honeypot. Seguir todo link do código, inclusive os escondidos com CSS ou proibidos no robots.txt, é exatamente o comportamento que identifica a automação, e a taxa de requisições nunca foi o problema. Siga o que é realmente alcançável em uma página renderizada, sem seguir tudo o que o HTML contém.

Voltar ao glossário completo.

HProxy.

As definições só levam você até certo ponto. Executar contra alvos reais.

Residenciais a partir de US$ 0,23 por GB, pagamento conforme o uso, e o saldo nunca expira.

HProxy