Limitação de taxa
O teto de um site para quantas requisições uma origem pode fazer em uma janela de tempo, o obstáculo mais comum que um scraper encontra.
O limite de requisições é um teto para a velocidade com que uma origem pode pedir coisas. Passe dele e o servidor para de atender você, na maioria das vezes com uma resposta 429 Too Many Requests, até a janela recomeçar. Ele existe para impedir que um único cliente consuma a capacidade de que todos os outros precisam, e é aplicado por servidores que não têm opinião nenhuma sobre você.
A propriedade que o define é ser cego à intenção, e essa é a parte que vale assimilar. O contador não sabe se você é hostil ou só está ocupado. Ele conta requisições por origem e age pelo número, e é por isso que um trabalho de alto volume perfeitamente legítimo o estoura com a mesma facilidade que um abuso. Ser bem-comportado não isenta você da aritmética.
O contador quase sempre usa como chave algo que identifica: um endereço IP, uma chave de API, uma conta ou uma sessão. A chave usada decide quais são as suas opções, e vale descobrir em vez de supor. Se um site limita por endereço, espalhar as requisições por um pool funciona. Se limita por chave de API, mais endereços não mudam absolutamente nada, e você precisa de outra chave ou de um ritmo mais lento.
É por isso que existe o proxy rotativo, e esta é a descrição honesta do que ele faz: ele deixa o limite onde está e impede você de concentrar o tráfego em um único contador. O mesmo volume total dividido por um pool de proxies deixa cada endereço com folga abaixo de um limite de que ele nunca chega perto. Nada foi burlado; a aritmética foi reorganizada.
A resposta que você recebe diz muita coisa, e lê-la direito economiza dias. Um 429 normalmente traz um cabeçalho Retry-After dizendo exatamente quanto esperar, o site informando as regras dele com todas as letras. Respeitá-lo é ao mesmo tempo o comportamento educado e o eficaz, porque ignorá-lo e tentar de novo na hora é o que transforma uma limitação temporária em um bloqueio mais longo.
Mas nem todo limite se anuncia, e o tipo silencioso é o perigoso. Um sistema antibot com opções muitas vezes degrada em vez de recusar: respostas mais lentas, conjuntos de resultados truncados, dados antigos do cache ou registros omitidos em silêncio. Suas requisições continuam devolvendo 200 e o seu conjunto de dados está errado. Quem faz web scraping em volume deveria comparar os resultados com uma referência sabidamente boa, sem confiar nos códigos de status.
A solução mais subestimada é simplesmente ir mais devagar, com variação. Um atraso fixo já é, por si só, um padrão detectável, e uma variação genuína no ritmo fica abaixo dos limites e parece menos mecânica. Isso custa tempo, e tempo normalmente sai mais barato que o custo crescente de ser limitado, desafiado e, por fim, bloqueado.
Perguntas frequentes
O que significa um erro 429?
Too Many Requests: você passou da cota para o que quer que o servidor conte, e ele vai atender você de novo quando a janela recomeçar. Procure um cabeçalho Retry-After, que diz exatamente quanto esperar. É uma recusa temporária, sem banimento, e recuar normalmente é tudo o que se exige.
Mais proxies sempre resolvem o limite de requisições?
Só quando o limite é contado por endereço IP. Se a chave for uma chave de API, uma conta ou um cookie de sessão, acrescentar endereços não muda nada, porque o contador nunca olhou para o seu endereço. Descubra qual é a chave do limite antes de comprar capacidade para resolvê-lo, senão você vai escalar a dimensão errada.
Como descubro o limite de requisições de um site?
Às vezes ele é publicado, na documentação da API ou em cabeçalhos de resposta que indicam o limite, a cota restante e o horário de recomeço. Quando não é, descubra na prática e com cuidado: comece bem abaixo de qualquer limite plausível, aumente aos poucos e observe o primeiro 429 ou o primeiro sinal de conteúdo degradado. Martelar um site de propósito para descobrir o limite é grosseiro e um bom jeito de ganhar um bloqueio mais longo.
É melhor girar IPs ou ir mais devagar?
Os dois, e eles resolvem metades diferentes. A rotação impede que o volume se concentre em um único contador; ir mais devagar com variação genuína trata o padrão do próprio tráfego, o que a rotação não faz. Girar rápido o bastante para manter uma cadência de máquina continua parecendo uma máquina, só que usando muitos endereços.
O limite de requisições pode ser silencioso?
Sim, e é a falha contra a qual mais vale se proteger. Alguns sites degradam em vez de recusar: respostas mais lentas, menos resultados, valores antigos do cache ou registros faltando em silêncio, tudo devolvido com um 200 perfeitamente normal. Nada nos seus logs vai sinalizar isso. A única defesa confiável é comparar periodicamente os dados coletados com uma requisição que você sabe que está limpa.
Voltar ao glossário completo.

