Crawler (rastreador)

Un crawler (o rastreador) es un programa que navega por la web de forma automática, saltando de enlace en enlace para descubrir páginas y leer su contenido. Es el primer paso del funcionamiento de un buscador: antes de mostrar una página en los resultados, Google debe encontrarla y rastrearla con su crawler, llamado Googlebot. Lo que el crawler recoge se envía luego al proceso de indexación ✕ La indexación es el proceso por el que un buscador guarda una página en su índice tras rastrearla, de modo que pueda aparecer en los resultados de búsqueda. Más en el glosario → . Puedes guiar su comportamiento con el archivo robots.txt, que indica qué zonas puede o no visitar, y con los enlaces internos, que le ayudan a llegar a todas tus páginas. Como cada sitio tiene un presupuesto de rastreo limitado, conviene facilitarle el trabajo con una estructura clara, un sitemap ✕ Un sitemap es un archivo que lista las páginas importantes de tu web para ayudar a los buscadores a descubrirlas y rastrearlas más fácilmente. Más en el glosario → y evitando páginas duplicadas o sin valor.