Cabeçalho HTTP
As linhas de nome e valor enviadas com cada requisição e resposta web, onde um cliente se descreve e onde os proxies deixam ou removem os seus rastros.
Uma requisição HTTP é, em grande parte, apresentação. Antes de qualquer conteúdo se mover, o cliente envia um bloco de cabeçalhos, linhas simples de nome e valor, declarando quem é, o que aceita, de onde veio e como gostaria que a resposta viesse embalada. O servidor responde com o próprio bloco. Tudo o que os dois lados negociam, eles negociam aqui, uma linha por fato.
Um punhado deles faz quase todo o trabalho que importa no contexto de proxies. O Host nomeia o site que você quer, e é assim que um endereço serve milhares de domínios. A linha do user agent diz qual software está pedindo. O Accept-Language declara quais idiomas você prefere. O Referer diz de qual página você veio clicando. A linha Cookie leva o estado que foi guardado em visitas anteriores. E a família de encaminhamento, X-Forwarded-For e Via, é onde um intermediário pode registrar o próprio envolvimento, a mecânica pela qual os níveis de anonimato são medidos.
Dois deles merecem a atenção especial de quem usa proxy porque contradizem a geografia de forma tão barata. O Accept-Language é enviado em toda requisição, e um navegador que anuncia en-US em todas as páginas enquanto sai por um endereço de Madri é uma divergência servida ao site no primeiro pacote de cabeçalhos, sem precisar de impressão digital. O mesmo vale para uma cadeia de Referer que mostra você chegando de uma edição em um idioma que o seu país declarado não veria. O endereço conta uma história; os cabeçalhos oferecem outra por conta própria.
A ordem conta uma terceira. A especificação trata os cabeçalhos como um conjunto sem ordem, mas os softwares reais os emitem em uma sequência habitual fixa, e os hábitos diferem: um navegador produz uma ordem, cada biblioteca HTTP outra. As defesas comparam a identidade declarada com a sequência observada, o que não custa nada e pega VALORES de cabeçalho copiados e colados em um cliente que os emite na própria ordem. O HTTP/2 complica o quadro, colocando os nomes em minúsculas e comprimindo o bloco, e acrescenta detalhes próprios de negociação que servem igualmente de impressão digital.
Os cabeçalhos também são onde o custo se esconde. O Accept-Encoding é a linha que pede compressão, e esquecê-lo em um plano por gigabyte significa pagar o preço cheio por texto que teria encolhido várias vezes. Cada requisição repete o bloco inteiro, o que em trabalhos de alto volume vira tráfego de verdade. Linhas pequenas, só que enviadas milhões de vezes.
Perguntas frequentes
Quais cabeçalhos HTTP importam mais ao usar um proxy?
Na saída: a linha do user agent, o Accept-Language e o Cookie, porque precisam concordar com a identidade e a localização que a sua saída declara. Na chegada ao site: o X-Forwarded-For e o Via, porque se o seu proxy os acrescenta é exatamente o que separa os níveis transparente, anônimo e elite. Ler de volta o que realmente chegou, por qualquer endpoint de eco, resolve as duas coisas em uma requisição.
Os cabeçalhos podem revelar que estou usando um proxy mesmo com um IP limpo?
Sim, de duas formas. Um proxy que acrescenta cabeçalhos de encaminhamento se anuncia, qualquer que seja a qualidade do endereço. E os seus próprios cabeçalhos podem contradizer a saída: uma preferência de idioma, uma cadeia de referer ou um valor dependente de fuso horário incoerente com o país declarado parece um visitante usando o endereço de outra pessoa, que é exatamente o que ele é.
A ordem dos cabeçalhos é mesmo conferida?
Pelas defesas sérias, rotineiramente. Os softwares emitem os cabeçalhos em uma sequência característica, os navegadores de um jeito, cada biblioteca do seu, e comparar a sequência com o user agent declarado é um teste de consistência gratuito. Copiar os valores de cabeçalho de um navegador para um script sem reproduzir a ordem do navegador reprova nesse teste, um dos motivos de requisições com valores perfeitos ainda serem classificadas como automação.
Os cabeçalhos custam banda?
Eles são reenviados em toda requisição, então em volume são um item real da conta, e o efeito maior é o que um deles controla: o Accept-Encoding negocia a compressão, e omiti-lo significa receber as páginas sem compressão, com várias vezes o tamanho. Na cobrança residencial por gigabyte, essa única linha faltando está entre os padrões mais caros do scraping.
Voltar ao glossário completo.

