Pide una auditoría

Inicio / RoloPedia / SEOpedia

SEOpedia · SEO Técnico

Robots.txt

Robots.txt es un archivo de texto situado en la raíz de un host (dominio.com/robots.txt) que indica a los rastreadores qué rutas pueden rastrear y cuáles no.

Funciona por grupos: cada grupo empieza con una o varias líneas User-agent (Googlebot, Bingbot, GPTBot, * para todos) seguidas de reglas Allow y Disallow con rutas. Admite los comodines * (cualquier secuencia) y $ (final de URL). Cuando varias reglas coinciden con una URL, Google aplica la más específica, la de ruta más larga; en empate, gana Allow. Un rastreador sigue solo el grupo que mejor encaja con su nombre e ignora los demás, incluido el de *. El estándar está recogido en el RFC 9309.

Cada host y protocolo tiene su propio archivo: blog.dominio.com necesita el suyo y http y https se tratan por separado. Google procesa como máximo 500 KiB e ignora directivas como Crawl-delay. También puedes declarar ahí la ubicación de tus sitemaps con la línea Sitemap:.

La idea clave es que robots.txt controla el rastreo, no la indexación. Una URL bloqueada puede aparecer en Google si recibe enlaces, normalmente sin descripción. Para sacar algo del índice necesitas noindex, y para que Google lo lea la URL no puede estar bloqueada.

Hoy robots.txt es también la herramienta principal para decidir qué bots de IA acceden a tu contenido: puedes permitir los de búsqueda (como OAI-SearchBot) y bloquear los de entrenamiento (como GPTBot o Google-Extended), con reglas distintas para cada uno.

Ejemplos

  • Bloqueo de búsqueda interna: User-agent: * y Disallow: /buscar evitan que los bots rastreen infinitas páginas de resultados.
  • Error con la precedencia: un grupo User-agent: Googlebot con solo Disallow: /privado hace que Googlebot ignore todas las reglas del grupo *, incluido el bloqueo de /carrito.
  • Bots de IA: un medio bloquea GPTBot y Google-Extended para no ceder contenido al entrenamiento, pero permite OAI-SearchBot para poder aparecer como fuente en ChatGPT Search.

Consejos prácticos

  • Revisa el informe de robots.txt de Search Console tras cada cambio: muestra qué versión ha leído Google y si hubo errores.
  • Prueba las reglas con un validador que siga el RFC 9309 antes de publicarlas; un carácter mal puesto puede bloquear el sitio entero.
  • No bloquees CSS ni JavaScript necesarios para renderizar las páginas.
  • Asegúrate de que el archivo devuelve 200: si devuelve errores 5xx, Google puede dejar de rastrear el sitio temporalmente.
  • Documenta qué bot de IA es de búsqueda, cuál de entrenamiento y cuál de acción de usuario antes de decidir a quién bloquear.

Cuidado con

  • Disallow no desindexa: una URL bloqueada puede seguir en el índice y además impide que Google lea su noindex.
  • Robots.txt es público y voluntario: no lo uses para ocultar rutas sensibles, porque las expone y los bots maliciosos lo ignoran.

Para profundizar en Robots.txt

Términos relacionados

  • Noindex: Herramienta correcta para desindexar; incompatible con un Disallow sobre la misma URL
  • Crawlability / Rastreabilidad: Robots.txt define qué partes del sitio son rastreables
  • Googlebot: Sigue el grupo de reglas que mejor encaja con su nombre
  • GPTBot: Bot de entrenamiento de OpenAI que se controla desde robots.txt
  • Google-Extended: Token para excluir contenido de los usos de IA de Google

En la GEOpedia

  • Crawlers de IA: Los crawlers de IA son los bots con los que las empresas de inteligencia artificial descargan páginas web, y se dividen en tres funciones que conviene no mezclar: búsqueda o indexación, fetch en vivo a petición del us…
  • Google-Extended: Google-Extended es el token de robots.txt con el que decides si Google puede usar tu contenido para entrenar sus modelos Gemini.
  • llms.txt: llms.txt es un archivo de texto en Markdown que se coloca en la raíz de un sitio para ofrecer a los modelos de lenguaje un resumen y un índice de enlaces a su contenido más importante.

Jorge J. Rolo

SEO & AI Search Manager en Flat 101. Consultor SEO técnico.