Honeypot
Uma armadilha plantada para automação, um link ou campo invisível para humanos, que sinaliza como bot qualquer coisa que interaja com ele.
Um honeypot é uma isca plantada para a automação. O site coloca na página algo que uma pessoa não consegue perceber e, portanto, nunca vai tocar, e trata qualquer coisa que toque nele como prova de um programa. Não há ambiguidade a discutir, e é isso que o torna um sinal tão limpo: um ser humano simplesmente não preenche um campo invisível.
As formas são banais quando você as conhece. Um link estilizado para fora da tela ou com dimensões zero, para que exista no código e não na tela. Um campo de formulário escondido com CSS, às vezes com um nome tentador para um script que preenche formulários. Uma URL que não aparece em nenhum lugar da navegação visível. E o clássico, um caminho listado como proibido no robots.txt, que um crawler bem-comportado nunca vai pedir e que, portanto, identifica qualquer coisa que o peça.
Vale parar nesse último, porque ele inverte o que as pessoas supõem que o robots.txt é. Tratado como uma lista de lugares interessantes, ele vira um mapa de exatamente quais requisições vão marcar você. Lê-lo para descobrir o que um site está escondendo é um jeito confiável de cair de propósito na armadilha.
A elegância da defesa é que ela transforma a minúcia na pista. Quanto mais mecanicamente completa for a sua automação, mais certo é que ela vai disparar algo que uma pessoa nunca encontraria, então a própria qualidade que torna um crawler bom em coletar dados o torna fácil de identificar. Depois de disparada, a consequência normalmente cai sobre o endereço, e é por isso que uma única execução descuidada pode estragar um IP para tudo o que vem depois.
Evitá-los é uma questão de agir de forma seletiva, sem a pretensão de cobrir tudo. Siga o que é realmente visível e navegável, respeite o robots.txt como uma instrução, sem lê-lo como índice, não envie campos que uma página renderizada não mostra e desconfie de qualquer elemento presente no DOM mas invisível na tela. Um crawler que imita o que um leitor plausivelmente faria é mais educado e também mais difícil de pegar.
Perguntas frequentes
Como detecto um honeypot antes de dispará-lo?
Renderize a página em vez de só interpretar o código, e depois ignore tudo o que uma pessoa não conseguiria ver ou alcançar: elementos com display none, visibility hidden, largura ou altura zero, opacidade zero ou posicionados muito fora da tela. Se você está interpretando HTML bruto sem renderizar, está trabalhando a partir de um documento que contém armadilhas que a página visual não tem, exatamente a lacuna que a técnica explora.
O robots.txt me diz onde estão os honeypots?
Muitas vezes ele os lista, e usá-lo assim é como as pessoas são pegas. Um caminho proibido para o qual nenhum link visível aponta é um forte candidato a isca, porque um crawler que cumpre as regras nunca vai pedi-lo, então só a automação que ignora o arquivo vai aparecer ali. Trate o arquivo como uma instrução sobre aonde não ir, sem usá-lo como atalho para URLs interessantes.
O que acontece depois que eu disparo um?
Depende do site, e muitas vezes não há um bloqueio imediato. Alguns marcam o endereço e agem depois, alguns começam a servir conteúdo degradado ou fabricado para que os dados que você coleta fiquem errados em silêncio, e alguns simplesmente elevam a sua pontuação no sistema antibot para que toda requisição seguinte seja tratada com mais desconfiança. A falta de algo óbvio acontecendo prova pouco.
Girar meu IP desfaz uma marca de honeypot?
Tira a marca daquele endereço específico, o que ajuda se ela foi registrada só contra o IP. Não ajuda se o site também tirou a impressão digital do cliente, porque a mesma impressão digital chegando em um endereço novo é um sinal mais forte do que ficar parado teria sido. E nada faz quanto ao comportamento que disparou a armadilha, então o próximo endereço vai dispará-la também.
Voltar ao glossário completo.

