Firewall de aplicação web
Um filtro que inspeciona requisições web recebidas com base em regras e bloqueia as que parecem maliciosas, uma camada diferente da gestão de bots a que os scrapers geralmente se referem.
Um firewall de aplicação web lê cada requisição que chega e decide, segundo um conjunto de regras, se ela pode chegar à aplicação. Ele procura ataques na própria requisição: os padrões de consulta de uma tentativa de injeção em banco de dados, os fragmentos de script de uma tentativa de cross-site, travessia de caminho, entrada malformada, os formatos bem catalogados dos principais riscos da OWASP. As requisições que batem com isso são recusadas na borda, antes de a aplicação por trás vê-las.
A diferença em relação ao gerenciamento de bots é a coisa mais útil para guardar, porque os dois são confundidos o tempo todo e falham com você de jeitos diferentes. Um WAF pergunta se esta requisição é um ataque. Um gerenciador de bots pergunta se este visitante é humano. Um scraper comum que não injeta nada só dispara um WAF por acidente, normalmente enviando algo malformado que por acaso bate com um padrão de ataque, enquanto dispara um gerenciador de bots simplesmente por ser automatizado. Quando as pessoas dizem que foram bloqueadas pelo WAF, muitas vezes querem dizer bloqueadas como bot, e a solução depende totalmente de qual foi de verdade.
Dito isso, os produtos se fundiram no mercado, e é por isso que a confusão é perdoável. Os grandes fornecedores, os mesmos nomes que os scrapers encontram como sistemas antibot, vendem WAF e gerenciamento de bots como uma única oferta na frente do mesmo site, então uma única recusa pode vir de qualquer um dos subsistemas. Ler a resposta é o que os separa: um bloqueio por regra de ataque normalmente é um 403 seco com uma referência de regra, enquanto uma decisão de bot mais costuma produzir um desafio, uma tela intermediária ou conteúdo degradado.
Para um scraper, a exposição prática é menor do que a fama sugere, e vale conhecê-la com precisão. Você pode disparar regras de ataque sem nenhuma intenção hostil: um termo de busca com pontuação parecida com SQL, uma URL com caracteres que uma regra trata como travessia, um parâmetro grande demais ou codificado de forma estranha. A solução é parecer tráfego comum, requisições codificadas corretamente, valores de parâmetro sensatos, nada que se pareça com um exploit, sem relação com o seu endereço, porque uma regra de WAF nem lê a reputação do seu IP.
Onde o endereço importa é nos feeds de reputação que muitos WAFs empilham por cima da pura comparação de regras: listas de IPs sabidamente maliciosos e, cada vez mais, os mesmos sinais de pontuação de bots. Essa sobreposição é exatamente o motivo de o WAF e o gerenciador de bots se confundirem, e por que uma saída residencial limpa ajuda contra o produto combinado mesmo sem fazer nada pela metade de padrões de ataque.
Perguntas frequentes
Qual é a diferença entre um WAF e um gerenciador de bots?
Um WAF inspeciona as requisições em busca de ataques, injeção, cross-site scripting, travessia, o catálogo da OWASP, e bloqueia a requisição. Um gerenciador de bots julga se o visitante é humano, usando reputação, impressão digital e comportamento. Um scraper comum dispara sobretudo o segundo. Eles são vendidos juntos pelos mesmos fornecedores, e é por isso que um bloqueio é atribuído ao WAF quando uma decisão de bot o causou.
Por que um WAF bloqueou meu scraper se eu não estou atacando nada?
Quase sempre porque algo que você enviou bateu por coincidência com um padrão de ataque: uma consulta de busca com pontuação parecida com SQL, uma URL com caracteres que uma regra de travessia marca, um parâmetro grande demais ou codificado de forma estranha. O remédio são requisições bem formadas e de aparência comum, sem precisar de um proxy melhor, porque as regras puras de WAF leem o conteúdo da requisição e deixam o seu endereço de lado.
Mudar meu IP me faz passar por um WAF?
Para a parte de comparação de ataques, não: a regra lê a requisição e ignora o endereço, então a mesma requisição malformada falha a partir de qualquer IP. Para as camadas de reputação e pontuação de bots que os WAFs modernos trazem embutidas, uma saída residencial limpa ajuda. Isso explica por que trocar de endereço às vezes funciona e às vezes não faz nada: você está lidando com dois subsistemas com um único nome.
Os WAFs da AWS, da Imperva e da Cloudflare são a mesma coisa?
Mesma categoria, produtos diferentes, e todos eles hoje combinam filtragem por regras com gerenciamento de bots em uma única oferta. Os conjuntos de regras, os padrões e a agressividade ajustável diferem por produto e por operador de site, então uma técnica ou uma saída que passa por uma configuração diz pouco sobre a próxima. Identifique qual produto está na frente do seu alvo e teste aquele site específico, sem generalizar.
Voltar ao glossário completo.

