Los crawlers de IA son los bots con los que las empresas de inteligencia artificial descargan páginas web, y se dividen en tres funciones que conviene no mezclar: búsqueda o indexación, fetch en vivo a petición del usuario y entrenamiento de modelos. Cada empresa usa un user-agent distinto para cada función. OpenAI tiene OAI-SearchBot (índice), ChatGPT-User (fetch) y GPTBot (entrenamiento); Anthropic, Claude-SearchBot, Claude-User y ClaudeBot; Perplexity, PerplexityBot y Perplexity-User; Meta, meta-webindexer, meta-externalfetcher y meta-externalagent.
La distinción importa porque el coste de bloquear cambia por completo. Si bloqueas un bot de búsqueda o de fetch, desapareces de las respuestas de esa plataforma. Si bloqueas uno de entrenamiento, no pierdes citas: solo decides si tu contenido entra en los pesos del próximo modelo.
El robots.txt es solo la primera capa. El fallo técnico más frecuente está en el CDN o el WAF: Cloudflare bloquea por defecto crawlers de IA desde julio de 2025 y volvió a cambiar sus defaults el 15 de septiembre de 2026. Además, casi ningún bot de IA ejecuta JavaScript, así que lo que no esté en el HTML inicial no lo leen.
Ejemplos
- Error típico: un
Disallow: /pensado para GPTBot que, copiado de un artículo antiguo, también incluye a OAI-SearchBot. Resultado: fuera del índice de ChatGPT Search sin que nadie lo haya decidido. - Bloqueo silencioso: el robots.txt está limpio, pero los logs muestran 403 para Claude-SearchBot porque una regla de bots del WAF lo trata como tráfico malicioso.
- Configuración razonable: permitir todos los bots de búsqueda y fetch, y decidir aparte, con negocio y legal, qué hacer con GPTBot, ClaudeBot, Google-Extended y CCBot.
Consejos prácticos
- Clasifica cada bot por función antes de tocar el robots.txt; nunca bloquees «la IA» con una sola regla.
- Revisa el panel de bots de tu CDN además del robots.txt: son capas independientes.
- Comprueba en los logs que los bots de búsqueda reciben 200, no 403 ni 429.
- Verifica la identidad de un bot con los rangos IP que publica cada empresa, nunca solo por el user-agent.
- Repite la auditoría de acceso cada trimestre: los defaults de la infraestructura cambian sin que toques nada.
Cuidado con
- Un robots.txt correcto no garantiza el acceso: el bloqueo más habitual vive en el CDN o el WAF y no se ve en el robots.txt.
- Parte del tráfico que dice ser GPTBot es suplantación; el user-agent no prueba nada.
Evidencia fuerte. Que bloquear bots de búsqueda o fetch cuesta citas y bloquear los de entrenamiento no se deriva de la documentación de bots de OpenAI, Anthropic y Perplexity; los cambios de bloqueo por defecto los ha documentado Cloudflare.
Términos relacionados
- GPTBot: Bot de entrenamiento de OpenAI; bloquearlo no cuesta citas.
- OAI-SearchBot: Bot de búsqueda de OpenAI; bloquearlo te saca de ChatGPT Search.
- Robots.txt: Primera capa de control de acceso, insuficiente por sí sola.
- Renderizado para bots de IA: Aunque entren, estos bots solo leen el HTML inicial.
- Pay per crawl: Alternativa de Cloudflare a permitir o bloquear: cobrar por el acceso.