Pide una auditoría

Inicio / Herramientas / Generador de robots.txt

SEO técnico · gratis · se ejecuta en tu navegador

Generador de robots.txt

Parte de una plantilla para tu CMS, decide qué bots de IA dejas pasar separando búsqueda y entrenamiento, y prueba cualquier ruta antes de subir el fichero.

Bots de búsqueda con IA (si los bloqueas, dejas de aparecer en esas respuestas)
Bots de entrenamiento (bloquearlos no te saca de la búsqueda)

Tu robots.txt

Probador: ¿esta ruta está permitida?

Preguntas frecuentes

¿Bloquear GPTBot me quita de ChatGPT?

No de la búsqueda. GPTBot recoge contenido para entrenar modelos de OpenAI; la búsqueda de ChatGPT usa OAI-SearchBot. Si bloqueas solo GPTBot, tus páginas pueden seguir apareciendo y citándose en las respuestas con búsqueda. Si bloqueas OAI-SearchBot, dejan de poder aparecer ahí.

¿Puedo usar robots.txt para desindexar una página?

No. Si bloqueas una URL, Google deja de rastrearla y por tanto no puede ver una etiqueta noindex. La URL puede quedarse en el índice sin descripción. Para desindexar, pon noindex, deja que Google la rastree y, cuando haya salido, decide si quieres bloquearla.

¿Dónde tiene que estar el robots.txt?

En la raíz de cada host: https://tuweb.com/robots.txt. Un subdominio necesita el suyo propio y el de http no vale para https. Tiene que responder 200 y ser texto plano. Si da 404, los bots entienden que pueden rastrear todo; si da un error 5xx, Google puede frenar el rastreo.