PT
Começar

Glossário

Scraping e automação

Lógica de novas tentativas

Como um scraper lida com requisições que falham, o que, feito mal, desperdiça banda e agrava os bloqueios, e feito bem resgata silenciosamente a maioria das falhas passageiras.

A lógica de novas tentativas é o que o seu scraper faz quando uma requisição falha, e é a diferença entre um pipeline que sobrevive a uma rede instável e um que transforma um soluço temporário em uma conta e um bloqueio. As falhas são inevitáveis em escala, uma conexão que cai, uma origem lenta, um limite de requisições momentâneo, e a maioria delas é passageira, então tentar de novo é o certo. Tentar de novo mal é uma das feridas autoinfligidas mais comuns do scraping.

A disciplina central é o recuo (backoff): esperar mais entre cada tentativa em vez de martelar na hora. O recuo exponencial, dobrando o atraso a cada vez, com um pouco de aleatoriedade para que muitos workers não tentem de novo em sincronia, espalha a carga e dá a um alvo em dificuldade espaço para se recuperar. Tentar de novo na hora faz o contrário, empilhando mais requisições sobre o que já estava falhando, e é exatamente assim que um limite suave vira um bloqueio duro. A falha estava pedindo para você ir mais devagar, e uma nova tentativa imediata responde acelerando.

Ler a falha é o que separa uma nova tentativa esperta de uma burra, e falhas diferentes merecem respostas diferentes. Um 429 com cabeçalho Retry-After é uma instrução precisa: espere esse tempo, sem adivinhar. Um 503 vale uma nova tentativa com recuo. Um tempo de conexão esgotado pode só precisar de outra saída. Mas um 403, um CAPTCHA ou um conteúdo degradado ficam longe de um erro passageiro: são uma decisão sobre você, e repeti-los sem mudança, mesmo endereço, mesma impressão digital, só gasta dinheiro para confirmar o bloqueio. Esses casos pedem mudar alguma coisa, um endereço novo ou outra abordagem, sem repetir a mesma tentativa.

Há uma dimensão de custo fácil de esquecer na cobrança por gigabyte. Uma requisição que falhou depois de transferir a maior parte da resposta ainda custou esse tráfego, então uma política agressiva de novas tentativas contra um alvo instável pode multiplicar uma conta de banda sem coletar nada a mais. Um teto de tentativas, recuo entre elas e uma regra que para de repetir falhas não passageiras vão além da educação: são a diferença entre uma política de novas tentativas que resgata requisições e uma que dobra os seus custos em silêncio.

Perguntas frequentes

O que é recuo exponencial?

Uma estratégia de novas tentativas em que a espera entre as tentativas cresce a cada vez, normalmente dobrando, em geral com um pouco de aleatoriedade para que muitos workers não tentem de novo em uníssono. Ela espalha a carga e dá a um alvo em dificuldade espaço para se recuperar, e é por isso que funciona onde as novas tentativas instantâneas falham. É o padrão sensato para lidar com falhas passageiras de requisições.

Devo tentar de novo toda requisição que falhou?

Não, e esse é o erro comum. Tente de novo as falhas passageiras, tempos esgotados, 503, um 429 depois do atraso do Retry-After, porque elas muitas vezes funcionam na segunda tentativa. Não repita sem mudança um 403, um CAPTCHA ou um conteúdo degradado: esses são decisões sobre você, bem mais que falhas técnicas, então repetir com o mesmo endereço e a mesma impressão digital só paga para confirmar o bloqueio. Mude alguma coisa ou pare.

Uma lógica de novas tentativas ruim pode aumentar meus custos com proxies?

Bastante, na cobrança por gigabyte. Uma requisição que falhou depois de transferir a maior parte da resposta já custou essa banda, então novas tentativas agressivas contra um alvo instável multiplicam a conta sem coletar nada. Limite as tentativas, recue entre elas e pare de repetir falhas não passageiras, o que transforma as novas tentativas de multiplicador de custo em um resgate de verdade.

Voltar ao glossário completo.

HProxy.

As definições só levam você até certo ponto. Executar contra alvos reais.

Residenciais a partir de US$ 0,23 por GB, pagamento conforme o uso, e o saldo nunca expira.

HProxy