¿Cómo Configurar Robots.txt para WordPress?

El archivo ‘robots.txt’ es una herramienta poderosa, aunque a menudo subestimada, para controlar cómo los motores de búsqueda como Google rastrean e indexan tu sitio web WordPress. Configurarlo correctamente puede mejorar significativamente tu SEO, mientras que una configuración incorrecta podría tener consecuencias negativas. En este post te guiaremos paso a paso sobre cómo configurar robots.txt para WordPress de manera efectiva.

¿Por qué es Importante Configurar Robots.txt? ‘robots.txt’ actúa como una guía para los bots de los motores de búsqueda, indicándoles qué archivos y carpetas pueden visitar y cuáles deben evitar. Esto te permite:

• Prevenir el rastreo de contenido duplicado: Evita que los motores de búsqueda indexen versiones duplicadas de tus páginas, lo que podría dañar tu SEO.
• Optimizar el presupuesto de rastreo: Dirigí a los bots hacia las páginas más importantes de tu sitio, asegurando que tu contenido valioso se indexe rápidamente.
• Bloquear el acceso a áreas sensibles: Impedí que los bots accedan a directorios de administración, plugins internos o archivos de configuración.

¿Cómo Crear y Configurar tu Archivo robots.txt? La buena noticia es que WordPress facilita la gestión de tu archivo ‘robots.txt’. Aquí te mostramos cómo hacerlo: 1. Acceso a tu Archivo robots.txt: Por defecto, WordPress no crea un archivo ‘robots.txt’ físico en la raíz de tu sitio. Sin embargo, muchos plugins de SEO (como Yoast SEO WordPress, que ya hemos recomendado en Blog de WordPress Argentina) te permiten crear y editar un archivo virtual ‘robots.txt’ directamente desde tu panel de administración.

La correcta configuración de tu archivo ‘robots.txt’ resulta esencial para la optimización del rastreo de tu sitio WordPress.

2. Configuración Básica Recomendada: Un archivo ‘robots.txt’ bien configurado para la mayoría de los sitios WordPress debería incluir directivas como las siguientes:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Disallow: /cgi-bin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /*/comment-page-*
Disallow: /*?s=
Disallow: /xmlrpc.php

Sitemap: /sitemap.xml

Explicación de las Directivas:

• ‘User-agent: *’:** Indica que las siguientes reglas se aplican a todos los bots de los motores de búsqueda.
• ‘Disallow: /wp-admin/’:** Bloquea el acceso al panel de administración de WordPress, una medida de seguridad importante.
• ‘Allow: /wp-admin/admin-ajax.php’:** Permite el acceso a ‘admin-ajax.php’, un archivo necesario para muchas funcionalidades dinámicas de WordPress.
• ‘Disallow: /cgi-bin/’:** Bloquea el acceso al directorio ‘cgi-bin’, común en algunos servidores.
• ‘Disallow: /wp-includes/’:** Bloquea el acceso a los archivos internos de WordPress.
• ‘Disallow: /wp-content/plugins/’:** Bloquea el acceso a los directorios de plugins (generalmente no es necesario bloquearlos por completo, pero podés bloquear carpetas específicas si es necesario).
• ‘Disallow: /wp-content/themes/’:** Bloquea el acceso a los directorios de temas (generalmente no es necesario bloquearlos por completo).
• ‘Disallow: /trackback/’ y ‘Disallow: /feed/’:** Bloquean el acceso a las páginas de trackbacks y feeds, que a menudo generan contenido duplicado.
• ‘Disallow: /*/comment-page-*’:** Bloquea el acceso a las páginas de comentarios paginados.
• ‘Disallow: /*?s=’:** Bloquea el acceso a las páginas de resultados de búsqueda interna.
• ‘Disallow: /xmlrpc.php’:** Bloquea el acceso al archivo ‘xmlrpc.php’, que puede ser un vector de ataque.
• ‘Sitemap: /sitemap.xml‘:** Indica la ubicación de tu archivo sitemap, facilitando la indexación de tu contenido importante. Reemplazá ‘/sitemap.xml‘ con la URL real de tu sitemap (generalmente generado por un plugin de SEO).

3. Uso de Plugins de SEO: Plugins como Yoast SEO simplifican enormemente la tarea de cómo configurar robots.txt para WordPress. Dentro de la configuración del plugin, generalmente encontrarás una sección dedicada al archivo ‘robots.txt’ donde podrás editarlo directamente sin necesidad de acceder a los archivos del servidor.