¿Qué es el archivo robots.txt y por qué es esencial para el SEO?

El archivo robots.txt es un documento de texto ubicado en la raíz de un sitio web que indica a los bots de rastreo (crawlers) qué carpetas o páginas no deben acceder ni indexar.

Forma parte del estándar Robots Exclusion Protocol y no garantiza la seguridad de los archivos, pero sí ayuda a optimizar el crawl budget y a evitar contenido duplicado o no deseado en los resultados de búsqueda.

¿Cómo funciona el archivo robots.txt?

Cuando un bot llega a tu dominio, lo primero que solicita es /robots.txt.

El servidor responde con las directivas que define el webmaster. Si el bot respeta el protocolo, obedece las instrucciones y omite las rutas desautorizadas, mejorando la eficiencia de rastreo.

Directivas más comunes en robots.txt

Las directivas básicas incluyen:

• User-agent: especifica a qué bot se dirigen las reglas (por ejemplo, User-agent: * para todos).

• Disallow: ruta que no debe rastrear (por ejemplo, Disallow: /admin/).

• Allow: ruta concreta que sí puede rastrear dentro de un directorio desautorizado.

• Sitemap: ubicación de tu sitemap XML para facilitar la indexación.

También existen directivas menos comunes como Crawl-delay (retraso entre peticiones) o Host (para motores específicos como Yandex).

Buenas prácticas para optimizar tu robots.txt

• Coloca el archivo en la raíz del dominio (https://tusitio.com/robots.txt).

• No bloquees recursos críticos como hojas de estilo, scripts o imágenes necesarios para el renderizado.

• Incluye la ruta al sitemap XML con Sitemap: https://tusitio.com/sitemap.xml.

• Valida tu robots.txt con herramientas como la prueba de robots.txt de Search Console.

• Mantén el archivo ligero y actualizado, evitando directivas redundantes o rutas obsoletas.

Ejemplo sencillo de robots.txt

txtCopyEditUser-agent: *







Disallow: /wp-admin/







Allow: /wp-admin/admin-ajax.php















Sitemap: https://tusitio.com/sitemap.xml

En este ejemplo, todos los bots quedan prohibidos de rastrear /wp-admin/, salvo el archivo admin-ajax.php, y se les indica la localización del sitemap.

Conclusión

El archivo robots.txt es una herramienta fundamental del SEO técnico: controla qué contenido rastrean los motores, optimiza tu crawl budget y evita la indexación de secciones sensibles o duplicadas.

Configurar y mantener correctamente este archivo garantiza que los bots de búsqueda descubran e indexen sólo lo que tú deseas, mejorando la eficiencia y la relevancia de tu sitio en las SERPs.