PT
Começar

Glossário

Redes

Balanceador de carga

Infraestrutura que distribui as requisições recebidas por muitos servidores de backend, uma forma de proxy reverso que você encontra pelo lado de fora ao fazer scraping.

Um balanceador de carga distribui o tráfego que chega por um pool de servidores de backend para que nenhuma máquina sozinha fique sobrecarregada e o serviço sobreviva à falha de qualquer uma delas. É um trabalho específico dentro da família dos proxies reversos: ficar na frente da própria infraestrutura de um site, receber as requisições e entregar cada uma ao backend que estiver saudável e menos ocupado. Se um site continua no ar enquanto servidores individuais são reiniciados por trás, normalmente o motivo é um balanceador de carga.

Você o encontra pelo lado de fora, e é isso que o torna digno de ser conhecido, muito além de curiosidade de servidor. Quando você se conecta a um site grande, quase sempre está falando com o balanceador de carga dele, longe de uma máquina de origem, e o balanceador costuma levar as mesmas funções de borda de um proxy reverso: encerramento de TLS, checagens de saúde e muitas vezes o limite de requisições e as regras de bots que decidem se a sua requisição segue. Uma recusa pode nascer aqui, antes de qualquer servidor de aplicação se envolver.

Ele também explica um comportamento que confunde os scrapers: a aparente inconsistência entre requisições idênticas. Como requisições sucessivas podem ser roteadas para backends diferentes, com estado ou conteúdo de cache um pouco diferentes, a mesma URL pode devolver respostas ligeiramente diferentes com segundos de intervalo, e uma sessão que supõe estar sempre falando com uma única máquina pode se surpreender. Ao contrário de uma variação deliberada, isso é só o pool aparecendo.

O termo se sobrepõe bastante a proxy reverso e CDN, e a distinção honesta é de ênfase. O proxy reverso é a categoria geral; o balanceamento de carga é uma função que ele executa, ao lado do cache e da filtragem; uma CDN é esse padrão operado em escala geográfica. Um balanceador de carga dedicado pode fazer só a distribuição, enquanto a maioria dos proxies reversos e toda CDN balanceiam a carga como parte de um trabalho maior. Para um scraper, a lição prática é a mesma: o que responde a você é a infraestrutura na frente do site, e muitas vezes é ela, mais que o site, que decide o seu destino.

Perguntas frequentes

Um balanceador de carga é a mesma coisa que um proxy reverso?

O balanceamento de carga é um dos trabalhos que um proxy reverso faz, então todo balanceador de carga se parece com um proxy reverso, mas nem todo proxy reverso é só um balanceador de carga. Um proxy reverso também guarda em cache, encerra o TLS e filtra o tráfego; um balanceador de carga dedicado pode só distribuir as requisições entre backends. Eles se sobrepõem o bastante para que o mesmo software muitas vezes cumpra os dois papéis.

Por que um site atrás de um balanceador de carga me dá resultados inconsistentes?

Porque requisições sucessivas podem cair em servidores de backend diferentes, cujo cache ou estado difere um pouco, então requisições idênticas devolvem respostas ligeiramente diferentes. É o pool de servidores aparecendo, sem variação proposital voltada a você. Um código que supõe estar sempre falando com uma única máquina pode interpretar isso como bug ou bloqueio.

Um balanceador de carga pode bloquear meu scraper?

Muitas vezes é ele que bloqueia. Na frente da origem, um balanceador de carga costuma aplicar as mesmas funções de borda de um proxy reverso, inclusive limites de requisições e regras de bots, então uma recusa pode acontecer ali antes de qualquer servidor de aplicação ver a sua requisição. É também por isso que os próprios logs do site podem não mostrar nada de uma requisição rejeitada no balanceador.

Voltar ao glossário completo.

HProxy.

Não acredite só na nossa palavra. Meça você mesmo.

Roda no seu navegador contra o endereço real. Sem cadastro, sem lista armazenada.

HProxy