PT
Começar

Glossário

Protocolos e autenticação

WebSocket

Um protocolo que transforma uma requisição HTTP em uma conexão persistente de mão dupla, usada para feeds de dados ao vivo, e um caso especial para os proxies carregarem.

Um WebSocket começa a vida disfarçado de requisição web comum. O cliente envia o que parece uma requisição HTTP normal com um cabeçalho Upgrade; o servidor responde 101 Switching Protocols; e a partir desse momento a conexão deixa de seguir o modelo de requisição e resposta. Ela vira um canal persistente e de mão dupla sobre a mesma conexão TCP, em que qualquer um dos lados envia mensagens quando quiser, enquanto a conexão viver.

O disfarce era o objetivo do projeto: ao começar como HTTP nas portas web padrão, 80 para ws e 443 para o wss envolvido em TLS, o protocolo atravessa uma infraestrutura construída para tráfego web. O que ele ganha em relação a perguntar repetidamente a um servidor se algo mudou é imediatismo e economia, uma conexão permanente em vez de um tamborilar de consultas, e é por isso que ele leva as superfícies ao vivo da web: cotações, livros de ofertas, chat, notificações, placares esportivos, editores colaborativos, painéis ao vivo.

Essa lista explica por que os scrapers vivem esbarrando nele. Nessas páginas, o documento que você busca é andaime, e os números que você queria chegam depois, como mensagens por um socket que a página abre depois de carregar. Buscar o HTML dá a você uma casca sem dados; até renderizar a página só ajuda se você ficar escutando depois. O caminho direto é o mesmo que a página usa: abra você mesmo o endpoint do socket, fale a mensagem de assinatura que o próprio cliente do site envia e leia o fluxo, que normalmente é um JSON mais limpo do que a página jamais mostraria.

Passá-lo por proxy funciona, com assimetrias que vale conhecer. O wss criptografado passa por um proxy HTTP dentro de um túnel CONNECT comum, o mesmo repasse cego que o HTTPS usa, então em geral simplesmente funciona. O ws simples pede ao proxy que trate o Upgrade explicitamente, o que alguns proxies HTTP fazem mal; na prática, quase tudo o que é real é wss de qualquer jeito. Um proxy SOCKS5, que repassa TCP sem interpretá-lo, leva os dois tranquilamente. O modo de falha exclusivo dos sockets é a duração: uma conexão mantida aberta por horas torna a estabilidade da saída parte da sua arquitetura, e as saídas de um pool rotativo não foram feitas para persistir. Fluxos de longa duração pedem um endereço estático ou uma sessão fixa do tamanho do trabalho.

Mais uma propriedade importa em volume: um socket tem estado de um jeito que as requisições não têm. A sua assinatura, a sua autenticação e a ideia que o servidor tem de quem você é vivem todas em uma única conexão, então uma saída que morre no meio do fluxo exige reconectar e assinar de novo, bem além de uma nova tentativa, e um consumidor bem construído trata isso como um evento esperado, sem considerá-lo um erro.

Perguntas frequentes

Os WebSockets funcionam por um proxy?

Em geral, sim. A forma criptografada, wss, viaja pelos proxies HTTP dentro do mesmo túnel CONNECT de qualquer tráfego HTTPS, e o SOCKS5 a repassa como TCP comum. O ws sem criptografia por um proxy HTTP é a combinação frágil, já que o proxy precisa repassar o handshake de Upgrade, e o suporte ali é desigual. Como as implantações reais são esmagadoramente wss, a maioria das configurações simplesmente funciona.

Por que os dados estão faltando quando faço scraping de uma página ao vivo?

Porque a página é uma casca e o conteúdo chega por um socket depois do carregamento. Buscar o documento captura só o andaime. A solução eficiente é encontrar o endpoint do socket na aba de rede do navegador, conectar-se a ele diretamente, enviar a mesma mensagem de assinatura que a página envia e consumir o fluxo, que normalmente devolve dados estruturados mais limpos do que interpretar a página renderizada devolveria.

Qual tipo de proxy devo usar para fluxos de WebSocket?

Um cuja saída ainda vai existir daqui a uma hora. Uma conexão mantida aberta torna a estabilidade da saída parte do projeto, então os pools rotativos têm o formato errado: um endereço estático, um proxy de ISP ou uma sessão fixa do tamanho da vida esperada da conexão combinam melhor. Além da persistência, as considerações habituais de confiança de rede valem sem mudança, já que o site vê a origem do socket exatamente como veria a de uma requisição.

As conexões WebSocket têm limite de requisições?

De um jeito diferente das requisições. Os sites limitam as conexões simultâneas por endereço e por conta, controlam a taxa de mensagens dentro de uma conexão e derrubam consumidores que assinam coisas demais. Como o estado vive na conexão, a aplicação disso muitas vezes parece uma desconexão, sem código de erro, então um consumidor resiliente já conta com reconectar e assinar de novo.

Voltar ao glossário completo.

HProxy.

Não acredite só na nossa palavra. Meça você mesmo.

Verifique o protocolo de um proxyPegue proxies grátis para testar

Roda no seu navegador contra o endereço real. Sem cadastro, sem lista armazenada.

HProxy