Configura correctamente el sitemap XML y el archivo robots.txt para controlar el rastreo de tu sitio.
El sitemap y el archivo robots.txt son fundamentales para controlar cómo los buscadores rastrean e indexan tu sitio.
Una configuración correcta asegura que las páginas importantes se indexen y las no deseadas se ignoren.
Un sitemap es un archivo que lista las URLs importantes de tu sitio para ayudar a los buscadores a encontrar contenido.
Aunque Google puede encontrar contenido a través de enlaces, el sitemap facilita el descubrimiento de páginas profundas o aisladas.
El formato estándar es XML. Aquí tienes un ejemplo:
El archivo robots.txt indica a los rastreadores qué pueden y qué no pueden rastrear de tu sitio.
Se coloca en la raíz del dominio: tudominio.com/robots.txt
Configura correctamente el sitemap XML y el archivo robots.txt para controlar el rastreo de tu sitio.
Código del tema: sitemap.xml
Un sitemap es un archivo que lista las URLs importantes de tu sitio para ayudar a los buscadores a encontrar contenido.
Aunque Google puede encontrar contenido a través de enlaces, el sitemap facilita el descubrimiento de páginas profundas o aisladas.
El formato estándar es XML. Aquí tienes un ejemplo:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://ejemplo.com/</loc>
<lastmod>2024-01-15</lastmod>
<changefreq>daily</changefreq>
<priority>1.0</priority>
</url>
<url>
<loc>https://ejemplo.com/contacto/</loc>
<lastmod>2024-01-10</lastmod>
<changefreq>monthly</changefreq>
<priority>0.5</priority>
</url>
</urlset>El archivo robots.txt indica a los rastreadores qué pueden y qué no pueden rastrear de tu sitio.
Se coloca en la raíz del dominio: tudominio.com/robots.txt
User-agent: *
Disallow: /carrito/
Disallow: /busqueda/
Disallow: /privado/
Allow: /privado/login/
Sitemap: https://ejemplo.com/sitemap.xml