OAI-SearchBot es el crawler de OpenAI que rastrea la web para construir el índice de ChatGPT Search, del que salen las páginas que ChatGPT puede citar cuando busca. Si lo bloqueas, tu sitio deja de estar en ese índice y desaparece de las respuestas con búsqueda.
Trabaja junto a otros dos bots de OpenAI con funciones distintas. ChatGPT-User hace las visitas en vivo, cuando el modelo abre una página durante una conversación, y GPTBot recopila contenido para entrenamiento. Solo este último se puede bloquear sin coste en citas.
ChatGPT ya no depende solo de Bing: trabaja con un índice propio («labrador») y APIs de terceros, y OAI-SearchBot es la puerta de entrada directa. Estar dentro no basta. Según el análisis de su sistema de recuperación publicado por Search Engine Land, de unas 61.000 URLs recuperadas solo 759 llegaron a abrirse, y las abiertas se citaron al 74% frente al 7% de las demás.
Tampoco ejecuta JavaScript: si tu contenido se pinta en el cliente, indexa un esqueleto vacío. Y, según ese mismo análisis, ChatGPT rechaza las páginas de más de 4 MB.
Ejemplos
- Robots.txt seguro:
User-agent: OAI-SearchBotconAllow: /en un bloque propio, aunque bloquees GPTBot. - Diagnóstico: la marca sale en Copilot pero nunca en ChatGPT, y los logs no muestran ni una visita de OAI-SearchBot en meses porque el WAF le devuelve 403.
Consejos prácticos
- Dale a OAI-SearchBot un bloque explícito en el robots.txt, separado del de GPTBot.
- Comprueba en los logs, filtrando por los rangos IP de OpenAI, que recibe 200 en tus URLs objetivo.
- Haz un
curlsin JavaScript de tus páginas clave: lo que no salga ahí no lo indexa. - Mantén las páginas por debajo de 4 MB y sin cadenas de redirección.
Cuidado con
- «Optimiza Bing y saldrás en ChatGPT» está desfasado: ChatGPT ya trabaja con índice propio.
- Estar en el índice no garantiza la cita; solo te deja entrar en la competición.
Evidencia fuerte. Que OAI-SearchBot construye el índice de ChatGPT Search figura en la documentación de bots de OpenAI; el dato de 759 URLs abiertas sobre ~61.000 procede del análisis de Search Engine Land.
Términos relacionados
- GPTBot: Bot de entrenamiento de OpenAI con el que se suele confundir.
- ChatGPT Search: El producto cuyo índice construye este bot.
- Renderizado para bots de IA: Sin HTML inicial completo, OAI-SearchBot indexa una página vacía.
- Tasa de citación: Métrica con la que se comprueba si el acceso se traduce en citas.