04.4 Robots.txt

Índice de contenidos

robot txt website auditor
Curso SEO Profesional©

¿Conoces el archivo robots.txt? Los buscadores quieren indexar toda la información posible de los sitios web que visitan. Por ello, cuando llegan a tu página, lo intentan rastrear todo.

Esto puede suponer un problema. Por ejemplo, cuando tu página está en producción y no quieres que aún se muestre en buscadores. Para poder controlar esto tenemos dos opciones:

  1. Una etiqueta que incluimos en la cabecera del código HTML de nuestra página: la etiqueta META Robots.
  2. El archivo Robots.txt.

Archivo Robots.txt ¿Qué es?

Es un archivo de texto que se encuentra en la raíz de un dominio y sirve para indicar a los robots de los buscadores qué zonas deseas que puedan rastrear y cuales no.

Al igual que sucede con el archivo sitemap, éste sigue un estándar para que los buscadores puedan interpretar a qué zonas o archivos de la página pueden acceder.

¿Para qué sirve?

Como hemos indicado anteriormente, el archivo Robots.txt se usa para controlar el tráfico de rastreo. Gracias a ello conseguiremos:

  • Que los rastreadores de los buscadores no sobrecarguen el servidor de nuestra web.
  • Evitar que Google y otros buscadores muestren resultados de tu página que no desees mostrar en las SERP

¿Cómo se crea?

Existe amplia información en Internet sobre este tema. Tienes documentación muy completa en esta página de Google.

Si usas Wordpress, automáticamente al instalarlo te genera el archivo que se ubica en www.tudominio.com/robots.txt

Crea tu archivo Robots.txt con Website Auditor

Con la magnífica herramienta Website Auditor de SEO Power Suite, puedes crear tus archivos Robots.txt sin problema alguno, a través de un asistente en cuestión de segundos.

Robots.txt con Website Auditor
Formulario para agregar reglas de tu archivo robots.txt con WebSite Auditor

Más información sobre Robots.txt:

 

Archivos robots.txt según el CMS

A continuación te facilitamos un archivo robots.txt según el CMS que use tu web, con la configuración óptima que el robots.txt debe tener para impulsar el SEO de tu sitio web. Esto ayudará a que el robot no pierda el tiempo en rastrear página del sitio web que no son relevantes, así conseguiremos optimizar el tiempo que el robot pasa en nuestro sitio, consiguiendo que este se concentre en rastrear un mayor número de veces y más tiempo las páginas importantes de la web.

Robots.txt para Wordpress

Robots.txt para Prestashop

 

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Sube el nivel

Más de 1000 alumnos formados desde 2008

¡Ya disponible nuestra plaforma online de Curso SEO Profesional©!

20 años de experiencia en SEO a tu alcance. Descubre como desarrollar proyectos SEO profesionalmente.

Curso SEO online

Desde cero, practicando con proyectos reales desde el primer momento.

certificación SEO

Certificado en SEO al finalizar el curso superando la evaluación final.

Acceso ilimitado a todo a través de suscripción mensual

Suscríbete a
Curso SEO Profesional

Incluye certificación en SEO*
12,41
Cuota mensual que se abona en un pago anual de 149€, acceso inmediato a la plataforma sin compromisos ni permanencia
  • Acceso a toda nuestra oferta formativa
  • +160 videos de capacitación SEO, Link Building & WPO
  • Certificación en SEO Profesional
  • Acceso ilimitado a la plataforma
  • Aprende con proyectos reales
  • Contenidos en continua actualización
  • 100% online y a tu ritmo
  • Acceso a nuestra bolsa de empleo
  • Alojamiento web gratuito para alojar tu blog
  • Webinars en vivo y grabados