PT
Começar

Glossário

Desempenho

Latência

O atraso entre enviar uma requisição por um proxy e receber uma resposta, determinado em grande parte pela distância física até a saída.

A latência é a espera: a ida e volta desde a saída da sua requisição até a chegada da resposta, medida em milissegundos. Parte dela é negociável e parte é física, e saber qual é qual poupa muito ajuste inútil.

A parte física define um piso abaixo do qual ninguém consegue ir. A luz na fibra óptica viaja a cerca de 200.000 quilômetros por segundo, uns dois terços da velocidade no vácuo, o que dá cerca de 5 milissegundos por 1.000 quilômetros em um sentido e 10 milissegundos por 1.000 quilômetros na ida e volta. De Londres a Nova York são cerca de 5.600 quilômetros, então a ida e volta mínima teórica fica em torno de 56 milissegundos. As medições reais ficam mais perto de 70 a 80, porque os cabos não seguem círculos máximos e cada roteador acrescenta um pouco. Nenhum provedor, plano ou protocolo vence esse piso.

É por isso que a localização de um proxy é uma decisão de desempenho tanto quanto de segmentação, e por que a geometria importa mais do que as pessoas esperam. O seu tráfego deixa de ir direto ao destino: vai até a saída e depois ao destino. Se você está na Europa, a sua saída está em Nova York e o seu alvo está na Europa, você comprou duas travessias de oceano para uma requisição que teria viajado quase nada direto. As piores configurações de latência normalmente são triângulos desnecessários, bem mais que proxies lentos.

O tipo de endereço também contribui. Um proxy de datacenter fica em uma infraestrutura bem conectada, com caminhos curtos até as rotas de backbone. Um endereço residencial fica atrás de uma banda larga de consumo, e um endereço móvel fica atrás de um link de rádio cuja latência varia com o sinal e o congestionamento da célula, de formas que ninguém controla. Essa ordem, datacenter mais rápido e móvel mais variável, é estrutural, sem refletir diferença de qualidade entre provedores.

Se algo disso importa depende totalmente do formato do seu trabalho, e é aqui que acontece a maior parte do esforço desperdiçado. A coleta em massa é governada pela vazão em muitas conexões paralelas, então cem requisições de 300 milissegundos cada terminam mais ou menos no mesmo tempo de relógio que cem de 100 milissegundos, desde que você as rode em paralelo. A latência só domina quando as etapas são sequenciais e cada uma precisa terminar antes de a próxima começar, que é o caso de logins, checkouts e qualquer rastreamento paginado que segue um cursor no servidor.

Então a regra prática é corrigir primeiro a geometria e depois a concorrência, e parar de otimizar a latência para uma carga de trabalho que não é sensível a ela. Coloque a saída perto do alvo, sem se preocupar em tê-la perto de você, porque o trecho que se repete é o que liga a saída ao destino.

Como a HProxy lida com isso

Só citamos um número de latência representativo em uma página de país quando o nosso próprio ponto de observação consegue medir o pool daquele país de forma justa. Para países distantes, mostramos a composição e a disponibilidade, porque um número medido do outro lado de um oceano diz mais sobre onde estávamos do que sobre o pool.

Perguntas frequentes

Por que meu proxy está tão lento?

Confira a geometria antes de culpar o proxy. Se você está em uma região, a sua saída em outra e o seu alvo de volta perto de você, cada requisição paga por duas travessias longas que uma conexão direta não pagaria. Depois disso, considere o tipo de endereço, já que residencial e móvel são estruturalmente mais lentos que datacenter, e então se o atraso é mesmo latência ou na verdade largura de banda, um problema diferente com uma solução diferente.

O proxy deve ficar perto de mim ou perto do alvo?

Perto do alvo, em quase todos os casos. A sua conexão com a saída acontece uma vez por requisição, mas a conversa da saída com o destino é onde o trabalho acontece, incluindo a negociação TLS e quaisquer redirecionamentos. Colocar a saída perto do destino encurta o trecho que se repete.

A latência importa para web scraping?

Bem menos do que as pessoas supõem, desde que você rode as requisições em paralelo. A coleta em massa é limitada pela vazão, então a latência por requisição em grande parte some no paralelismo. Ela importa quando as etapas são sequenciais e cada uma depende da anterior, como fazer login, percorrer um checkout ou seguir um cursor paginado, em que cada milissegundo é pago uma vez por etapa.

Qual é uma boa latência para um proxy?

Não existe um número absoluto, só um relativo à distância envolvida. Compare com o piso físico daquela rota: cerca de 10 milissegundos de ida e volta por 1.000 quilômetros. Se uma saída próxima está devolvendo várias centenas de milissegundos, há algo errado além da geografia. Se uma saída transcontinental está devolvendo 80, isso está perto do melhor que a rota permite.

Voltar ao glossário completo.

HProxy.

Não acredite só na nossa palavra. Meça você mesmo.

Roda no seu navegador contra o endereço real. Sem cadastro, sem lista armazenada.

HProxy