User agent
O texto que um cliente envia para identificar o navegador e o sistema operacional, um dos sinais mais simples que um site compara com o seu IP.
Um user agent é uma linha de texto enviada com cada requisição em que o seu cliente declara o que é. A versão de um navegador é uma string longa e confusa que cita um motor de renderização, uma plataforma e vários tokens de compatibilidade que só existem por causa de décadas de sites farejando por eles. A versão de uma biblioteca de scripts costuma ser curta e honesta, algo como python-requests ou curl seguido de um número de versão.
Na maior parte do tempo, os sites o leem por motivos totalmente comuns: escolher um layout para celular, avisar um navegador desatualizado, servir um formato que o cliente suporta. Ele virou um sinal de detecção de proxy por acidente, porque os clientes automatizados se anunciam nele por padrão e muitos nunca pensam em mudar isso. Quem faz web scraping com o padrão intocado de uma biblioteca está se identificando já na primeira linha da requisição.
Ele é também a coisa mais fácil de falsificar em toda a requisição, e é exatamente por isso que sozinho não prova nada. Qualquer cliente pode enviar qualquer string, e todo site sabe disso. Ninguém sério trata um user agent convincente como prova de um navegador real, então definir um é o mínimo esperado, sem ser uma técnica.
O valor dele para quem defende é como checagem de consistência, e essa é a parte que realmente importa. Dizer que é Chrome no Windows compromete você com muitas outras coisas: uma impressão digital TLS correspondente, um conjunto correspondente de client hints, um tamanho de tela plausível, a ORDEM de cabeçalhos que um Chrome real envia e tudo o que a impressão digital do navegador lê sobre a máquina por baixo. Contradiga qualquer uma delas e a string passa a dar ao site algo específico em que pegar você discordando.
A ordem dos cabeçalhos merece uma menção própria porque costuma ser esquecida. Navegadores reais emitem os cabeçalhos em uma sequência consistente e característica, e as bibliotecas HTTP os emitem na ordem em que o código os acrescentou. Uma string de user agent perfeita chegando em uma ordem que nenhum navegador produz é uma contradição que não custa nada detectar.
Isso torna o conselho prático mais estreito que o conselho de costume. Defina, sim, um user agent realista e atual, porque uma string padrão de biblioteca entrega você de graça. Não o gire aleatoriamente a cada requisição, um instinto comum e ativamente ruim: visitantes reais não trocam de navegador entre carregamentos de página, e uma sessão cuja identidade de cliente não para de mudar chama mais atenção do que uma que nunca muda. Escolha uma identidade plausível por sessão e mantenha-a.
Perguntas frequentes
Devo girar user agents?
Não a cada requisição, e é aqui que muitos conselhos erram. Um visitante real não troca de navegador entre carregamentos de página, então uma sessão cujo user agent não para de mudar é mais suspeita do que uma que fica parada. Escolha uma string plausível e atual por sessão ou por identidade e mantenha-a durante toda a vida daquela sessão.
Mudar o user agent impede que eu seja detectado?
Não. Remove uma denúncia óbvia, a string padrão da biblioteca, e nada mais. Os sistemas de detecção conferem se a declaração é consistente com a sua impressão digital TLS, a ordem dos seus cabeçalhos, os seus client hints e o seu comportamento, e um user agent de navegador em um handshake de Python é uma contradição, sem chegar a ser um disfarce. É necessário e muito longe de suficiente.
Qual é o melhor user agent para web scraping?
Um atual e comum, que combine com tudo o mais que você apresenta. Não existe string mágica, e copiar uma antiga ou incomum é pior que inútil, porque a própria raridade identifica. Escolha uma versão de navegador atual e muito usada e depois garanta que o resto da sua requisição poderia plausivelmente ter vindo dela.
Um site consegue ver meu user agent real se eu mudá-lo?
Ele só recebe o que você envia, então não. O que ele pode fazer é perceber que o que você enviou discorda de tudo o mais na conexão: o handshake TLS é de uma biblioteca, sem relação com aquele navegador, a ordem dos cabeçalhos está errada, os client hints estão faltando ou o tamanho de tela informado é implausível. Ele não precisa da sua string real para saber que a que você enviou é falsa.
Voltar ao glossário completo.

