Cloudflare
Uma camada de CDN e segurança que fica na frente de uma grande parte da web e inclui alguns dos desafios antibot mais comuns que os scrapers encontram.
A Cloudflare fica na frente de uma fração muito grande dos sites como CDN e proxy de segurança, o que significa que a defesa antibot dela é um dos obstáculos mais comuns que a automação encontra. Quando uma requisição parece automatizada, a Cloudflare pode interpor um desafio, uma checagem em JavaScript, um desafio gerenciado, às vezes um CAPTCHA, antes de o site real ser alcançado.
Como a Cloudflare é um proxy reverso para o site, o que você enfrenta é a defesa dela, sem chegar à origem. Essa defesa pesa os mesmos sinais que todo sistema antibot sério: reputação de IP, impressão digital TLS, comportamento do navegador. Um endereço de datacenter atrai um desafio com muito mais facilidade que um residencial limpo.
A conclusão prática não muda: um endereço confiável, uma impressão digital de navegador genuína e um comportamento sem pressa passam onde qualquer um deles sozinho fica barrado, e para as configurações mais duras um endpoint de scraping feito sob medida costuma ser o caminho pragmático.
O ponto estrutural que vale entender é que a proteção é configurável por cada site, longe de ser um obstáculo único e fixo. Os operadores dos sites escolhem o próprio nível de segurança, as próprias regras e os próprios limites, e é por isso que um site atrás dela está totalmente aberto enquanto outro desafia você na hora. Concluir que você não consegue fazer scraping de nada atrás dela, ou que consegue, generaliza a partir de uma configuração que alguém escolheu, sem refletir a plataforma em si.
Isso também significa que a resposta que você recebe vai além do binário. Conforme a configuração, uma requisição pode ser atendida normalmente, receber uma checagem silenciosa em JavaScript que se resolve sem você perceber, ver um desafio interativo, ser limitada ou ser recusada de vez. Ler qual dessas você realmente recebeu diz muito mais sobre o que mudar do que tratar todo status diferente de 200 como a mesma parede.
Uma consequência genuinamente útil para quem rastreia um endereço: como ela age como proxy reverso, os endereços que você vê pertencem a ela, longe dos servidores de origem do site. Uma consulta ao IP de um site muitas vezes devolve a CDN em vez do host, o que é um comportamento esperado, sem provar nada.
Nossa posição honesta sobre as configurações mais duras, já que é a pergunta que realmente nos fazem: um endereço residencial limpo eleva o seu piso e não decide sozinho o resultado, porque as checagens acima da camada de rede continuam de qualquer jeito. Quando um alvo está configurado de forma agressiva o bastante, as opções realistas são um endpoint de scraping feito sob medida, uma API oficial quando ela existe, ou aceitar que o site não quer acesso automatizado. Vender um proxy mais caro como resposta a isso seria faltar com a verdade.
Perguntas frequentes
Por que a Cloudflare bloqueia meu scraper e deixa meu navegador passar?
Porque o seu navegador e o seu script diferem em tudo, menos no endereço. A impressão digital TLS de uma biblioteca HTTP difere da de um navegador, a ordem dos cabeçalhos difere, os client hints estão faltando e não há interação humana nenhuma. Tudo isso é lido antes de a sua requisição chegar ao site, e é por isso que o mesmo IP passa em um e falha no outro.
Os proxies residenciais passam pela Cloudflare?
Eles removem um dos motivos mais fortes para desafiar você, e em sites com configuração leve isso muitas vezes basta sozinho. Nos configurados de forma agressiva, fica aquém, porque as checagens de impressão digital e de comportamento rodam independentemente de quão confiável é o seu endereço. Eles elevam o seu piso, sem decidir o resultado.
Por que sites diferentes atrás da Cloudflare se comportam de jeitos tão diferentes?
Porque cada operador configura o próprio nível de segurança, as próprias regras e os próprios limites. É uma plataforma com configurações, longe de ser uma barreira única e fixa, então um site pode estar totalmente aberto e outro imediatamente hostil, os dois usando o mesmo produto. Teste o site específico, sem generalizar a partir da plataforma.
É a Cloudflare ou o site que está me bloqueando?
Normalmente a borda, agindo pelas regras que o operador do site escolheu. Como ela é um proxy reverso, a decisão normalmente é tomada antes de a própria aplicação do site ver qualquer coisa, e é por isso que um bloqueio pode ser instantâneo e por que o servidor de origem pode nem ter registro da sua requisição. Isso também explica por que uma consulta ao endereço do site devolve a CDN em vez do host.
Voltar ao glossário completo.

