PerplexityBot es el crawler con el que Perplexity construye su índice propio, el que usa para encontrar y citar páginas en sus respuestas. Bloquearlo equivale a salir de Perplexity, porque es un bot de búsqueda y no de entrenamiento.
Tiene un compañero con otra función: Perplexity-User, que visita páginas en vivo cuando un usuario lo pide. Perplexity declara que este fetcher ignora el robots.txt por diseño, al tratarse de una petición del usuario. Por eso el robots.txt no es un mecanismo fiable para controlar a los fetchers; si necesitas cerrar el paso, tendrás que hacerlo en el servidor o en el CDN.
Perplexity no renderiza JavaScript y es especialmente sensible a la frescura, así que una página sin cambios reales en mucho tiempo tiende a perder frente a contenido reciente. Conviene que la respuesta esté en las primeras líneas, que es lo que mejor encaja con cada subconsulta. Y su índice no es el de ChatGPT: las fuentes que citan las dos plataformas se solapan poco.
Ejemplos
- Acceso correcto:
User-agent: PerplexityBotconAllow: /y comprobación en logs de que recibe 200 desde los rangos IP que publica Perplexity. - Página que pierde: una guía de hace dos años, sin fecha visible ni cambios desde entonces, compite contra artículos de este trimestre, y Perplexity cita los recientes.
Consejos prácticos
- Permite PerplexityBot de forma explícita en el robots.txt y comprueba que el CDN no lo frena.
- Pon la respuesta en las primeras líneas de la página o de la sección.
- Revisa cada trimestre las páginas objetivo con cambios reales de contenido y fecha visible.
Cuidado con
- Cambiar solo la fecha sin tocar el contenido no funciona y es detectable.
- No cuentes con el robots.txt para frenar a Perplexity-User: Perplexity declara que lo ignora.
Evidencia fuerte. Que PerplexityBot es un bot de búsqueda y Perplexity-User un fetcher que no sigue robots.txt lo documenta Perplexity; el sesgo general a la frescura lo mide Ahrefs (el contenido citado es ~26% más reciente que el top 10 orgánico).
Términos relacionados
- Perplexity: La plataforma cuyo índice construye este bot.
- Frescura de contenido: Factor con mucho peso en lo que Perplexity acaba citando.
- Crawlers de IA: Clasificación por función de la que forma parte.
- Robots.txt: Controla a PerplexityBot, pero no a Perplexity-User.