skip to Main Content

Cómo optimizar el archivo Robots.txt de WordPress para un mejor SEO

Si te preguntas cómo optimizar el archivo robots.txt de WordPress para una mejor optimización de la posición en los buscadores, has venido al lugar correcto.

En esta guía rápida, explicaré qué es un archivo robots.txt, por qué es importante mejorar su clasificación en las búsquedas y cómo editarlo y enviarlo a Google.

¡Vamos a sumergirnos!

Cómo optimizar su archivo #WordPress robots.txt para un mejor #SEO

¿Qué es un archivo robots.txt de WordPress y tengo que preocuparme por ello?

Un archivo robots.txt es un archivo en su sitio que le permite negar a los motores de búsqueda el acceso a ciertos archivos y carpetas. Puede utilizarlo para bloquear los robots de Google (y de otros motores de búsqueda) para que no rastreen determinadas páginas de su sitio. A continuación, se muestra un ejemplo del archivo:

Entonces, ¿cómo es que negar el acceso a los motores de búsqueda realmente mejora su SEO? Parece contraintuitivo…

Funciona así: Cuantas más páginas haya en su sitio, más páginas tendrá que rastrear Google.

Por ejemplo, si tiene muchas páginas de categorías y etiquetas en su blog, estas páginas son de baja calidad y no necesitan ser rastreadas por los motores de búsqueda; sólo consumen el presupuesto de rastreo de su sitio (el número asignado de páginas que Google rastreará en su sitio en un momento dado).

El presupuesto de rastreo es importante porque determina la rapidez con la que Google detecta los cambios en su sitio y, por lo tanto, la rapidez con la que se le clasifica. Puede ayudar especialmente con el SEO de comercio electrónico.

Sólo ten cuidado de hacer esto bien, ya que puede dañar tu SEO si se hace mal. Para obtener más información sobre cómo no indexar correctamente las páginas correctas, consulta esta guía de DeepCrawl.

Entonces, ¿necesitas meterte con tu archivo robots.txt de WordPress?

Si estás en un nicho altamente competitivo con un sitio grande, probablemente. Sin embargo, si acabas de empezar tu primer blog, las prioridades más importantes son crear enlaces a tu contenido y crear muchos artículos de alta calidad.

Cómo optimizar el archivo robots.txt de WordPress para un mejor SEO

Ahora, vamos a discutir cómo llegar a (o crear) y optimizar el archivo robots.txt de WordPress.

Robots.txt suele residir en la carpeta raíz de su sitio. Necesitarás conectarte a tu sitio usando un cliente FTP o usando el administrador de archivos de tu cPanel para verlo. Es sólo un archivo de texto ordinario que puedes abrir con el Bloc de notas.

Si no tiene un archivo robots.txt en el directorio raíz de su sitio, entonces puede crear uno. Todo lo que necesitas hacer es crear un nuevo archivo de texto en tu ordenador y guardarlo como robots.txt. Luego, sólo tiene que subirlo a la carpeta raíz de su sitio.

¿Cómo es un archivo robots.txt ideal?

El formato del archivo robots.txt es muy simple. La primera línea suele nombrar un agente de usuario. El agente de usuario es el nombre del robot de búsqueda con el que intentas comunicarte. Por ejemplo, Googlebot o Bingbot. Puedes utilizar el asterisco * para dar instrucciones a todos los bots.

La siguiente línea sigue con Allow o Disallow instrucciones para los motores de búsqueda, para que sepan qué partes quieres que indexen y cuáles no.

Aquí hay un ejemplo:

Usuario-Agente: *
Permitir: /?display=ancha
Permitir: /wp-contento/ subidas/
No lo admita: /readme.html
No lo admita: /...remitirse...
Mapa del sitio: http://www.codeinwp.com/post-sitemap.xml
Mapa del sitio: http://www.codeinwp.com/page-sitemap.xml
Mapa del sitio: http://www.codeinwp.com/deals-sitemap.xml
Mapa del sitio: http://www.codeinwp.com/hosting-sitemap.xml

Tenga en cuenta que si utiliza un plugin como Yoast o All in One SEO, es posible que no necesite añadir la sección de mapa del sitio, ya que lo intentan hacer de forma automática. Si falla, puede añadirla manualmente como en el ejemplo anterior.

¿Qué debo anular o noindexar?

En las directrices para webmasters de Google, se aconseja a los webmasters que no utilicen su archivo robots.txt para ocultar contenido de baja calidad. Por lo tanto, el uso de su archivo robots.txt para evitar que Google indexe sus páginas de categorías, fechas y otros archivos puede no ser una elección acertada.

Recuerde, el propósito de robots.txt es instruir a los bots sobre qué hacer con el contenido que rastrean en su sitio. Eso no les impide rastrear su sitio web.

Además, no necesitas añadir tu página de inicio de sesión de WordPress, el directorio de administración o la página de registro a robots.txt porque las páginas de inicio de sesión y registro tienen la etiqueta noindex añadida automáticamente por WordPress.

Sin embargo, recomiendo que no permita el archivo readme.html en su archivo robots.txt. Este archivo readme puede ser usado por alguien que intente averiguar qué versión de WordPress estás usando. Si se trata de una persona, puede acceder fácilmente al archivo con sólo navegar por él. Además, al colocar una etiqueta de rechazo se pueden bloquear los ataques maliciosos.

¿Cómo envío mi archivo robots.txt de WordPress a Google?

Una vez que haya actualizado o creado su archivo robots.txt, puede enviarlo a Google mediante la consola de búsqueda de Google.

Sin embargo, recomiendo probarlo primero con la herramienta de prueba de Google robots.txt.

Si no ves la versión que has creado aquí, tendrás que volver a subir el archivo robots.txt que has creado a tu sitio de WordPress. Puedes hacerlo usando Yoast SEO.

Conclusión

Ahora sabes cómo optimizar el archivo robots.txt de WordPress para un mejor SEO.

Recuerde que debe tener cuidado al hacer cualquier cambio importante en su sitio a través de robots.txt. Si bien estos cambios pueden mejorar su tráfico de búsqueda, también pueden hacer más daño que bien si no tiene cuidado.

Y si te mueres por aprender más, ¡mira nuestro último resumen de tutoriales de WordPress!

Háganoslo saber en los comentarios; ¿tiene alguna pregunta sobre cómo optimizar el archivo robots.txt de WordPress? ¿Qué tipo de impacto tuvo el cuidarlo en sus clasificaciones de búsqueda?

Cómo optimizar su archivo #WordPress robots.txt para un mejor #SEO

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Pin It on Pinterest

Share This
Back To Top