CDN
Uma rede de distribuição de conteúdo, a camada de cache distribuída geograficamente que serve a maioria dos grandes sites e decide na borda como tratar a sua requisição.
Consulte o endereço de quase qualquer site grande e a organização que volta é outra: uma rede de distribuição de conteúdo, uma frota de servidores de cache espalhados por centenas de cidades, entre os visitantes e as máquinas reais do site. O servidor de origem pode viver em um único lugar; a CDN responde de onde estiver mais perto de quem pergunta.
O mecanismo é um proxy reverso operado em escala geográfica. O DNS do site aponta para a CDN, o roteamento leva cada visitante a um nó próximo, e esse nó serve cópias em cache de tudo o que pode, consultando a origem só quando não tem a cópia ou para conteúdo que não pode ser guardado. O visitante recebe uma resposta de um servidor a algumas centenas de quilômetros, em vez de um oceano de distância, a origem vê uma fração do tráfego, e a física da latência faz o resto da argumentação.
Duas consequências importam para quem trabalha com proxies. A primeira é que ONDE você sai decide COM QUAL cópia de um site você conversa. Requisições de uma saída alemã caem em um nó europeu, com o conteúdo e a atualização do cache daquele nó; a mesma URL buscada de uma saída americana é respondida por outras máquinas, com um estado de cache possivelmente diferente. O conteúdo pode diferir entre os dois por motivos totalmente banais, uma borda com uma cópia velha que a outra já atualizou, antes de qualquer variação regional deliberada entrar em jogo.
A segunda é que o nó da CDN é onde uma grande parte das defesas da web realmente roda. Limites de requisições, checagens de reputação, classificação de bots e desafios rodam na borda, em uma infraestrutura que o site aluga, antes de a origem ouvir qualquer coisa. Quando um site muito protegido recusa você, a recusa normalmente aconteceu na camada da CDN, e é também por isso que os operadores da origem às vezes realmente não conseguem ver o tráfego sobre o qual você está perguntando.
Vale manter separado: uma CDN na frente de um site é escolha do site e serve ao site. Ela não tem relação com os proxies que você configura para si mesmo, embora a engrenagem, proxies reversos com cache, seja da mesma família. Quem escolhe a CDN é o site; você escolhe a sua saída, e a CDN decide como tratá-la.
Perguntas frequentes
Por que o endereço IP de um site pertence a uma CDN e não ao site?
Porque o DNS do site aponta de propósito para a rede, para que cada visitante caia em um nó de cache próximo. O próprio endereço da origem não é publicado e muitas vezes fica totalmente protegido por firewall contra tráfego direto. Consultar um site atrás de uma CDN diz qual rede de distribuição ele aluga, e muito pouco sobre onde o site em si roda.
A localização do meu proxy muda o que uma CDN me serve?
Ela decide qual nó de borda responde, e por meio disso pode mudar o que você recebe. Os nós de regiões diferentes guardam cópias em cache separadas, com a própria atualização, então a mesma URL pode devolver conteúdo diferente a partir de saídas diferentes antes de qualquer segmentação geográfica deliberada entrar em jogo. Quem compara páginas entre países deveria supor que parte das diferenças são artefatos de cache, sem estratégia regional por trás.
Uma CDN é a mesma coisa que a Cloudflare?
A Cloudflare é uma operadora conhecida desse padrão, ao lado da Akamai, da Fastly, do CloudFront e de outras. O padrão em si, proxies reversos distribuídos com cache e segurança aplicada na borda, é o que o termo nomeia. Os sites muitas vezes usam uma rede para a distribuição e empilham outros serviços por cima, então vale manter a marca e o mecanismo separados.
Por que as bordas das CDNs bloqueiam scrapers?
Porque a borda é onde as proteções do site estão configuradas para rodar: consultas de reputação, contagem de requisições e classificação de bots rodam no nó que recebe você, antes de a origem ser consultada. Isso sai barato para o site, já que as requisições recusadas nunca tocam as máquinas dele, e é por isso que um bloqueio em um site atrás de uma CDN pode ser instantâneo e invisível nos logs da própria origem.
Voltar ao glossário completo.

