PT
Começar

Glossário

Scraping e automação

User agent

O texto que um cliente envia para identificar o navegador e o sistema operacional, um dos sinais mais simples que um site compara com o seu IP.

Um user agent é uma linha de texto enviada com cada requisição em que o seu cliente declara o que é. A versão de um navegador é uma string longa e confusa que cita um motor de renderização, uma plataforma e vários tokens de compatibilidade que só existem por causa de décadas de sites farejando por eles. A versão de uma biblioteca de scripts costuma ser curta e honesta, algo como python-requests ou curl seguido de um número de versão.

Na maior parte do tempo, os sites o leem por motivos totalmente comuns: escolher um layout para celular, avisar um navegador desatualizado, servir um formato que o cliente suporta. Ele virou um sinal de detecção de proxy por acidente, porque os clientes automatizados se anunciam nele por padrão e muitos nunca pensam em mudar isso. Quem faz web scraping com o padrão intocado de uma biblioteca está se identificando já na primeira linha da requisição.

Ele é também a coisa mais fácil de falsificar em toda a requisição, e é exatamente por isso que sozinho não prova nada. Qualquer cliente pode enviar qualquer string, e todo site sabe disso. Ninguém sério trata um user agent convincente como prova de um navegador real, então definir um é o mínimo esperado, sem ser uma técnica.

O valor dele para quem defende é como checagem de consistência, e essa é a parte que realmente importa. Dizer que é Chrome no Windows compromete você com muitas outras coisas: uma impressão digital TLS correspondente, um conjunto correspondente de client hints, um tamanho de tela plausível, a ORDEM de cabeçalhos que um Chrome real envia e tudo o que a impressão digital do navegador lê sobre a máquina por baixo. Contradiga qualquer uma delas e a string passa a dar ao site algo específico em que pegar você discordando.

A ordem dos cabeçalhos merece uma menção própria porque costuma ser esquecida. Navegadores reais emitem os cabeçalhos em uma sequência consistente e característica, e as bibliotecas HTTP os emitem na ordem em que o código os acrescentou. Uma string de user agent perfeita chegando em uma ordem que nenhum navegador produz é uma contradição que não custa nada detectar.

Isso torna o conselho prático mais estreito que o conselho de costume. Defina, sim, um user agent realista e atual, porque uma string padrão de biblioteca entrega você de graça. Não o gire aleatoriamente a cada requisição, um instinto comum e ativamente ruim: visitantes reais não trocam de navegador entre carregamentos de página, e uma sessão cuja identidade de cliente não para de mudar chama mais atenção do que uma que nunca muda. Escolha uma identidade plausível por sessão e mantenha-a.

Perguntas frequentes

Devo girar user agents?

Não a cada requisição, e é aqui que muitos conselhos erram. Um visitante real não troca de navegador entre carregamentos de página, então uma sessão cujo user agent não para de mudar é mais suspeita do que uma que fica parada. Escolha uma string plausível e atual por sessão ou por identidade e mantenha-a durante toda a vida daquela sessão.

Mudar o user agent impede que eu seja detectado?

Não. Remove uma denúncia óbvia, a string padrão da biblioteca, e nada mais. Os sistemas de detecção conferem se a declaração é consistente com a sua impressão digital TLS, a ordem dos seus cabeçalhos, os seus client hints e o seu comportamento, e um user agent de navegador em um handshake de Python é uma contradição, sem chegar a ser um disfarce. É necessário e muito longe de suficiente.

Qual é o melhor user agent para web scraping?

Um atual e comum, que combine com tudo o mais que você apresenta. Não existe string mágica, e copiar uma antiga ou incomum é pior que inútil, porque a própria raridade identifica. Escolha uma versão de navegador atual e muito usada e depois garanta que o resto da sua requisição poderia plausivelmente ter vindo dela.

Um site consegue ver meu user agent real se eu mudá-lo?

Ele só recebe o que você envia, então não. O que ele pode fazer é perceber que o que você enviou discorda de tudo o mais na conexão: o handshake TLS é de uma biblioteca, sem relação com aquele navegador, a ordem dos cabeçalhos está errada, os client hints estão faltando ou o tamanho de tela informado é implausível. Ele não precisa da sua string real para saber que a que você enviou é falsa.

Voltar ao glossário completo.

HProxy.

As definições só levam você até certo ponto. Executar contra alvos reais.

Residenciais a partir de US$ 0,23 por GB, pagamento conforme o uso, e o saldo nunca expira.

HProxy