El proceso de Crawling (Rastreo)
Los buscadores envían "rastreadores" (bots, spiders, crawlers) para descubrir contenido nuevo y actualizado en la web.
Googlebot es el nombre del rastreador de Google. Funciona como un navegador: sigue enlaces, solicita páginas y analiza su contenido.
Comienza desde un conjunto de URLs seed (semillas) conocidas y sigue cada enlace que encuentra. Este proceso es recursivo y constante.
Googlebot
El bot de Google que rastrea la web. Existen versiones para escritorio y móvil.
Sitemap
Archivo que lista las URLs importantes de tu sitio para facilitar el descubrimiento.
Presupuesto de rastreo
Límite de páginas que Google rastrea en tu sitio por sesión. Optimízalo.
Links internos
Los enlaces dentro de tu sitio conectan páginas y guían a los crawlers.
robots.txt
Archivo que indica a los bots qué pueden o no rastrear de tu sitio.
Frecuencia
Google decide cuándo y cuánto rastrear según la importancia y actualización del sitio.