PT
Começar

Glossário

Scraping e automação

robots.txt

Um arquivo na raiz de um site que diz aos crawlers quais caminhos ele prefere que evitem, uma convenção sem nenhuma barreira que a imponha.

O robots.txt é um arquivo de texto simples que um site publica na raiz para sinalizar como gostaria que os visitantes automatizados se comportassem, quais caminhos pular e, às vezes, com que lentidão rastrear. É uma convenção antiga que os crawlers bem-comportados seguem, e os buscadores a respeitam rigorosamente.

É importante deixar claro o que ele é: um pedido, sem nenhum controle de acesso por trás. O robots.txt pede; nada técnico impede uma requisição a um caminho proibido. Mas ignorá-lo é má prática e um risco prático, porque um site que vê tráfego chegando a caminhos que pediu aos crawlers para evitar tem um sinal fácil de que o visitante é um bot se comportando mal.

A leitura sensata é que o robots.txt marca a fronteira da automação bem-vinda. Ficar dentro dela mantém um crawler na categoria de tráfego tolerado, longe do abuso marcado.

Mecanicamente ele é simples, e isso é parte do motivo de ter sobrevivido sem mudanças por décadas. Os grupos começam com uma linha User-agent que nomeia a qual crawler as regras se aplicam, seguida de linhas Disallow e Allow que listam prefixos de caminho. Um asterisco na linha User-agent significa todos os que não foram citados de forma mais específica. Muitos sites também publicam uma linha Sitemap, que é genuinamente útil: ela aponta para uma lista estruturada das URLs que o site realmente quer que sejam encontradas.

A armadilha que ele cria é o inverso do seu propósito, e pega quem se acha esperto. Lido como uma lista de lugares interessantes, um caminho proibido parece uma dica de que há algo valioso escondido ali. Com muito mais frequência é o contrário: um caminho que nenhum crawler legítimo jamais vai pedir, o que torna trivialmente identificável qualquer coisa que o peça. Tratar o arquivo como um mapa é o jeito de cair de propósito em um honeypot.

Também vale deixar claro que ele não é segurança e nunca foi pensado para isso. Um caminho proibido continua acessível publicamente, então qualquer um pode pedi-lo e nada o impede. Publicar a localização de algo sensível no robots.txt anuncia isso a todo mundo enquanto pede educadamente que ninguém olhe, o pior dos dois mundos.

A posição prática que adotamos, e que sugerimos como um piso: leia-o, respeite as regras de proibição, respeite qualquer intervalo de rastreamento que ele especifique e use o sitemap que ele oferece. Cumprir isso quase não custa nada, mantém você na categoria de tráfego que um site tolera e evita o sinal específico que mais marca um endereço como mal-comportado.

Perguntas frequentes

Ignorar o robots.txt é ilegal?

É uma convenção, sem força de lei, e a posição jurídica varia por jurisdição e pode se combinar com os termos de serviço de um site, o que faz dela uma pergunta para um advogado, que um glossário não responde. A resposta prática é separada e mais clara: ignorá-lo é um dos jeitos mais confiáveis de ter um endereço marcado, porque os caminhos proibidos são exatamente o que nada legítimo pede.

O robots.txt realmente bloqueia alguma coisa?

Não. Ele é um pedido publicado, sem nenhum controle de acesso. Todo caminho proibido continua acessível publicamente, e nada técnico impede uma requisição a ele. É também por isso que listar algo sensível ali é contraproducente: anuncia a localização a todo mundo e depende da educação para protegê-la.

O robots.txt pode me dizer onde estão os dados bons?

Ele pode dizer onde estão as armadilhas, a inversão útil. Um caminho proibido para o qual nada aponta é um forte candidato a honeypot, já que só a automação que ignora o arquivo vai aparecer ali. A linha genuinamente útil é a Sitemap, que aponta para uma lista estruturada de URLs que o site quer ativamente que sejam descobertas.

Como leio um arquivo robots.txt?

Ele é agrupado por crawler. Uma linha User-agent nomeia a quem as regras seguintes se aplicam, com um asterisco significando qualquer um que não tenha sido citado especificamente, e as linhas Disallow e Allow listam prefixos de caminho abaixo dela. Encontre o grupo que se aplica a você, normalmente o do asterisco, e siga essas regras. Uma linha Sitemap pode aparecer em qualquer lugar e vale para todos.

Voltar ao glossário completo.

HProxy.

As definições só levam você até certo ponto. Executar contra alvos reais.

Residenciais a partir de US$ 0,23 por GB, pagamento conforme o uso, e o saldo nunca expira.

HProxy