¡Lección breve pero útil!

Cuando realizas labores de auditoría SEO en una web o quieres que ciertas páginas de tu web no sean indexables mediante el ‘noindex’ o un disallow en Robots.txt, es importante conocer de qué forma puedes comprobar que todo está bien puesto.

En ocasiones damos por hecho que una página va a tener una serie de etiquetas o parámetros marcados y no es así, porque hemos fallado, el plugin de turno no ha cumplido, etc.

 

Aprende a saber de una forma muy rápida si una página tiene index, no index o si está en el archivo Robots.txt con un ‘disallow’ acompañada.

En una ocasión confié en que Yoast SEO estaba marcando bien unas páginas con noindex, tal y como yo lo había ‘ordenado’. Para mi sorpresa, el plugin no lo hacía bien y tardé en descubrirlo. No cometas mi error y comprueba siempre que las etiquetas meta name robots y el Robots.txt están correctamente configuradas.

¿Cómo puedo saber qué páginas están ya en robots.txt o en no index?

Como ya hablamos en otras lecciones, puedes desindexar una página de diferentes formas. Para esto se suele utilizar sobre todo la meta robots ‘noindex’ y el archivo Robots.txt.

Dependiendo en qué momento necesites saber si una página tiene index o no index o un disallow en Robots.txt, podrás utilizar diferentes herramientas o métodos.

 

  • SeeRobots (para index/noindex)

    Para mi es una de las formas más sencillas y rápidas de saber si una página está en noindex, index, follow o nofollow a través de la etiqueta HTML. Se trata de una extensión para Chrome y Firefox que te dice qué forma la etiqueta de la página que estás navegando en ese momento.Realmente no es necesario ni hacer click en la extensión, cuenta con un código de colores muy sencillo:

    -Verde: index o follow

    -Rojo: noindex o nofollow

    Lo muestra digamos en forma de bandera. Pongamos que la extensión aparece en rojo y verde, ¿qué significa? Que esa página es noindex/follow. Si fuera verde y rojo, esa página está marcada como index/nofollow. Si fuera rojo y rojo, noindex/nofollow.

    seerobots

    Ejemplo de una página en noindex / follow

    En el caso de que quieras algo más de información para comprobarlo al 100%, puedes hacer click en la extensión y te dirá lo que necesitas.

    seerobots - 2

    Como ves, de esta forma no tendrás que hacer nada. Simplemente navegas por una página y automáticamente la extensión va dando la información. Útil, ¿verdad?


  • Código fuente (para index/noindex)

    Esta forma es sencilla a pesar de que tenga código de por medio. Se trata de ir al código fuente de una página para buscar, en el caso de que exista, la etiqueta meta name robots. De esta forma puedes saber si esa página es index/noindex, follow/nofollow.

    En el caso de que una página carezca de la etiqueta, se entiende que la página está en index/follow por defecto.

    Para ver el código fuente de una página tan sólo tienes que pulsar con el botón derecho de tu ratón en alguna parte de dicha página y clickar en “Ver código fuente de la página” (puede que en otros navegadores que no sean Chrome ponga algo parecido).

    Otra forma de acceder al código fuente de una página sin utilizar este paso, ya que algunas páginas no permiten utilizar el botón derecho, es pulsar el comando cmd + alt + U (Mac) o Ctrl + U en Windows.

    Una vez que estás dentro del código fuente debes buscar la siguiente etiqueta:

    <meta name="robots" content="">

    Lo que aparezca dentro de las comillas determinará cómo es esa página:

    Index, follow
    Noindex, follow
    Index, nofollow
    Noindex, nofollow

    Un pequeño consejo, busca la etiqueta entre las primeras lineas del código. Siempre estará entre las etiquetas de la cabecera <head></head>


  • Robots.txt de la web

    Cuando quieres saber si ciertas páginas, URLs o directorios están bloqueados mediante ‘disallow’ en Robots.txt solo debes incluir al dominio de la web la ruta /robots.txt

    Por ejemplo: https://alexserrano.es/robots.txt

    De esta forma verás el archivo robots.txt de esa web, sea tuya o ajena. El archivo es público para todo el mundo.

    Ahora podrás buscar la línea del archivo que te diga si esa URL que estás analizando está bloqueada antes los bots o no. Es fácil, si tiene un ‘Disallow:’ delante de la URL o directorio, está bloqueada.

    ¡Recuerda cómo crear y configurar tu Robots.txt!


  • Extensión Robots.txt viewer

    Una forma ultra rápida de ver un archivo Robots.txt de la web que estás navegando es la extensión Robots.txt Viewer para Chrome.

    Cuando la tienes instalada en tu navegador, sólo debes hacer un click sobre ella para ver la configuración del archivo Robots. También te da la opción mediante el símbolo del enlace o link, de ir directamente al archivo en el navegador.robots.txt viewer

Esto son sólo 4 formas rápidas de comprobar si una página está en noindex o si está bloqueada a través del archivo robots.txt. Existen más, como por ejemplo crawlear una página con Screaming Frog, algo que veremos en lecciones posteriores. Si no quieres perderte ninguna, ¡suscríbete a Aprende SEO! 👇👇👇

¡RECIBE LAS NUEVAS LECCIONES!

 

Los datos personales que facilites, serán incorporados a un registro de actividades de tratamiento de datos personales, cuyo responsable es Alejandro Serrano Martínez. La finalidad principal de recogida es la gestión de las suscripciones generadas y el envío de publicaciones sobre marketing digital, posicionamiento web y otras temáticas de la web. La legitimación se basa en el consentimiento. No se cederán datos a terceros, salvo obligación legal. Los datos que nos facilitas están ubicados en servidores cuya sede se encuentra dentro del territorio de la UE o gestionados por Encargados de Tratamiento acogidos al acuerdo “Privacy Shield”. Tiene derecho a acceder, rectificar y suprimir los datos, así como otros derechos, escribiendo a info@alexserrano.es , como se explica en la política de privacidad completa . Si no facilitas los datos solicitados como obligatorios, puede dar como resultado no poder cumplir con la finalidad para los que se solicitan.

¡Listo! Ve a tu bandeja de entrada.