PT
Começar

Glossário

Scraping e automação

Processamento de dados

Transformar uma resposta buscada em dados estruturados, a metade do scraping que acontece depois da rede e quebra por motivos totalmente diferentes.

A busca é a metade barulhenta do scraping, com os proxies, bloqueios e novas tentativas; a interpretação é a metade silenciosa, onde o valor realmente aparece. Uma resposta chega como bytes, marcação, JSON, às vezes coisa pior, e interpretar é tudo entre essa chegada e uma linha limpa: decodificação, construção da árvore, seleção, normalização, validação. Os pipelines normalmente são julgados pela taxa de busca e morrem pela qualidade da interpretação.

Para HTML, interpretar significa construir uma árvore de documento com um interpretador que tolere a web real, onde tags ficam sem fechar e o aninhamento é uma aspiração. Os interpretadores de verdade consertam essa marcação do jeito que os navegadores fazem; a extração improvisada com expressões regulares funciona até o primeiro atributo aparecer em uma ordem inesperada, e é por isso que regex em marcação é o conto de advertência canônico da comunidade. Depois que existe uma árvore, as linguagens de apontamento assumem, e o trabalho da interpretação termina quando a seleção tem algo sólido onde pisar.

O melhor movimento de interpretação muitas vezes é contornar o HTML por completo. As páginas modernas já levam os dados em forma estruturada: respostas JSON que alimentam os próprios scripts da página, blocos de estado embutidos no documento e as anotações legíveis por máquina que os sites publicam para os buscadores, nome do produto, preço e disponibilidade em uma tag script, rotulados segundo um vocabulário público. Ler isso rende campos tipados sem arqueologia de seletores, e eles mudam bem menos que os layouts, porque outras engrenagens dependem deles.

A codificação é a armadilha por baixo de tudo. Os bytes viram texto por meio de uma codificação de caracteres, e supor a errada produz mojibake, os símbolos de moeda e letras acentuadas embaralhados de uma interpretação que tecnicamente deu certo. Os charsets declarados às vezes mentem; respostas comprimidas precisam ser descomprimidas antes de qualquer coisa; e os números chegam vestidos de localidade, em que 1.299,00 e 1,299.00 discordam sobre qual sinal é o decimal. A normalização, preços para um número e uma moeda, datas para uma forma com fuso horário, espaços em branco condensados, também é interpretação, e pulá-la só empurra o trabalho para cada consumidor dos seus dados.

A disciplina que separa os pipelines duráveis é validar a SAÍDA, além da busca. Uma interpretação que encontra zero preços em uma página que claramente vende coisas é um sinal, ou o layout mudou ou o site serviu algo diferente da página real, e um pipeline que registra campos vazios como sucesso vai encher um armazém de lacunas confiantes. As falhas de interpretação são baratas quando são barulhentas e ruinosas quando são silenciosas, então construa-as barulhentas.

Perguntas frequentes

Por que não devo interpretar HTML com expressões regulares?

Porque a estrutura da marcação, aninhamento, atributos opcionais em qualquer ordem, tags sem fechar consertadas pelos navegadores, é exatamente o que as expressões regulares não conseguem acompanhar. Padrões que sobrevivem a uma página se despedaçam nas irmãs dela. Os interpretadores de HTML de verdade consertam a bagunça em uma árvore, os seletores então a endereçam com confiabilidade, e o regex continua útil naquilo em que é bom: limpar strings individuais extraídas.

Quais são os dados mais fáceis de interpretar em uma página web?

Os dados que a página já publica como dados. Muitos sites embutem anotações legíveis por máquina para os buscadores, nome, preço, disponibilidade em JSON rotulado dentro de uma tag script, e muitos outros enviam o próprio estado como JSON que os scripts da página consomem. Os dois dão campos tipados sem trabalho de seletores, e os dois são mais estáveis que os layouts, porque outros sistemas dependem deles.

Por que o texto que coletei mostra caracteres quebrados?

Uma divergência de codificação: os bytes foram decodificados com o conjunto de caracteres errado, normalmente por confiar em uma declaração errada ou ausente. O resultado é mojibake, acentos e símbolos de moeda embaralhados em uma interpretação que de resto deu certo. Detecte e respeite a codificação verdadeira, descomprima antes de decodificar e teste em páginas com texto fora do inglês, onde a falha aparece na hora.

Como sei que meu interpretador continua funcionando?

Valide as saídas, sem olhar códigos de status. Exija que os campos esperados apareçam de fato, preços numéricos, datas plausíveis, contagens acima de zero em páginas que visivelmente têm itens, e dispare um alarme quando não aparecerem. Mudanças de layout e respostas degradadas em silêncio aparecem como buscas bem-sucedidas com campos vazios ou errados, então o único alarme confiável é afirmar algo sobre os próprios dados.

Voltar ao glossário completo.

HProxy.

As definições só levam você até certo ponto. Executar contra alvos reais.

Residenciais a partir de US$ 0,23 por GB, pagamento conforme o uso, e o saldo nunca expira.

HProxy