Sistema antibot
Uma defesa em camadas, verificações de rede, impressão digital e comportamento combinadas, que os sites usam para separar a automação dos usuários reais.
Um sistema antibot é o que substituiu a lista de bloqueio de IPs. Uma lista de bloqueio responde a uma pergunta com um sinal e é derrotada trivialmente com a troca de endereço. Um sistema moderno faz uma dúzia de perguntas, pondera as respostas e produz um único veredito, e é por isso que as táticas que vencem uma lista de bloqueio quase nada fazem contra ele.
As entradas vêm de todas as camadas ao mesmo tempo, e esse empilhamento é o projeto. Na camada de rede, quem é o dono do endereço e qual é a reputação dele, o mesmo terreno que a detecção de proxies cobre. Na camada de transporte, a impressão digital TLS, porque um handshake de Python vestindo um user agent de Chrome é uma contradição que não custa nada perceber. Na camada de aplicação, a impressão digital do navegador: canvas, WebGL, fontes, fuso horário e se algo disso discorda de onde o IP diz estar. Depois, o comportamento: ritmo, movimento do ponteiro, rolagem, se os recursos carregaram, se o caminho de navegação é um que uma pessoa poderia ter feito.
O veredito raramente é um bloqueio direto, e essa é a parte que mais confunde as pessoas. Um sistema com opções muitas vezes escolhe a resposta mais barata que custa a você e nada a ele: servir um CAPTCHA, degradar o conteúdo em silêncio, devolver preços antigos, omitir resultados ou atrasar a resposta até o scraper exceder o tempo limite. Uma página que carrega bem e contém dados sutilmente errados é uma defesa bem mais eficaz que um 403, porque você pode levar semanas para perceber.
As defesas também se movem. As regras são reajustadas, novos sinais são acrescentados, os limites mudam com o tráfego, e uma técnica que funcionava no mês passado pode parar de funcionar sem aviso. Esse é o fato estrutural que decide a estratégia: em vez de resolver um quebra-cabeça uma vez, você mantém uma posição contra algo que muda sem avisar.
Então o conselho honesto para um alvo difícil vai além de um proxy melhor. Pense nisso como uma auditoria, sem nada de disfarce: cada camada da sua requisição precisa contar a mesma história, e o sistema está procurando a que destoa. O que quer que o seu cliente diga ser, ele precisa ser de fato no handshake, informar uma máquina plausível, estar em um endereço coerente com onde diz estar e percorrer a página em uma velocidade que o humano declarado conseguiria. O que se busca é não deixar nada que discorde à vista.
E há um ponto a partir do qual lutar contra isso por conta própria deixa de ser racional. Se manter o acesso exige o trabalho contínuo de alguém que poderia estar construindo o seu produto de verdade, uma API de scraping especializada exatamente nisso costuma sair mais barata que o tempo de engenharia, e bem mais barata que coletar dados errados em silêncio por um mês.
Como a HProxy lida com isso
Vendemos uma das camadas e dizemos isso com clareza: um bom endereço eleva o seu piso e não consegue salvar um cliente que se contradiz mais acima na pilha. É também por isso que operamos uma API de scraping ao lado dos proxies, sem fingir que um IP resolve todos os alvos.
Perguntas frequentes
Um proxy residencial sozinho consegue passar por um sistema antibot?
Contra uma proteção leve, muitas vezes sim, porque a reputação de rede é uma das entradas mais pesadas e um endereço confiável remove o motivo mais barato para desafiar você. Contra uma proteção séria, não. O sistema também lê a sua impressão digital TLS, a impressão digital do seu navegador e o seu comportamento, e qualquer um deles contradizendo o endereço basta sozinho. O endereço é necessário e insuficiente.
Por que meu scraper funcionou por semanas e de repente parou?
Normalmente porque a defesa mudou, com você parado no mesmo lugar. Os limites são reajustados, novos sinais são acrescentados e as regras são atualizadas continuamente, então uma configuração que ficava logo acima da linha pode cair abaixo dela sem que nada do seu lado tenha mudado. Também vale conferir se ele parou mesmo ou só começou a devolver conteúdo degradado, uma falha bem mais fácil de passar despercebida.
Como sei se estou recebendo conteúdo degradado em vez de um bloqueio?
Compare com uma requisição em que você confia. Busque a mesma URL por um navegador comum em uma conexão normal e compare os campos que importam: preços, contagem de resultados, disponibilidade, o número de itens de uma lista. A degradação silenciosa parece sucesso no nível do HTTP, então nada nos seus códigos de status ou logs de erro vai avisar, e só uma comparação vai mostrar.
É melhor ir mais devagar?
Normalmente sim, e é o ajuste mais subestimado disponível. Volume e regularidade são sinais fortes, e são as duas coisas totalmente sob o seu controle. Acrescentar variação genuína ao seu ritmo, sem um atraso fixo que já é, por si só, um padrão, custa tempo e remove um sinal que nenhuma compra de proxy consegue remover.
Os sistemas antibot também bloqueiam os crawlers dos buscadores?
Em geral não, porque a maioria dos sites quer ser indexada. Os crawlers conhecidos normalmente são identificados e liberados, e é por isso que um site pode parecer escancarado em um resultado de busca em cache e desafiar você na hora. A permissão é dada a um crawler específico e verificado, sem valer para qualquer coisa que apresente um user agent parecido, e dizer ser um deles é trivialmente conferível por DNS reverso.
Voltar ao glossário completo.

