Crawler (rastreador)

Um crawler (ou rastreador) é um programa que navega pela web de forma automática, saltando de link em link para descobrir páginas e ler o seu conteúdo ✕ O marketing de conteúdo consiste em atrair e fidelizar um público criando conteúdo útil — artigos, guias, vídeos — em vez de anunciar diretamente. Mais no glossário → . É o primeiro passo do funcionamento de um buscador: antes de mostrar uma página nos resultados, o Google precisa encontrá-la e rastreá-la com o seu crawler, chamado Googlebot. O que o crawler recolhe é depois enviado ao processo de indexação ✕ A indexação é o processo pelo qual um buscador guarda uma página em seu índice depois de rastreá-la, para que ela possa aparecer nos resultados de busca. Mais no glossário → . Você pode orientar o seu comportamento com o arquivo robots.txt, que indica quais áreas ele pode ou não visitar, e com os links internos, que o ajudam a chegar a todas as suas páginas. Como cada site tem um orçamento de rastreamento limitado, vale a pena facilitar o trabalho com uma estrutura clara, um sitemap ✕ Um sitemap é um arquivo que lista as páginas importantes do seu site para ajudar os buscadores a descobri-las e rastreá-las com mais facilidade. Mais no glossário → e evitando páginas duplicadas ou sem valor.