El User Agent es una cadena de texto que los navegadores y rastreadores web envían en las cabeceras HTTP para identificarse ante los servidores. En SEO, es fundamental porque permite distinguir entre usuarios reales y bots de búsqueda como Googlebot, además de identificar el tipo de dispositivo (desktop, mobile, bot). El formato estándar incluye información sobre el navegador, sistema operativo y motor de renderizado. Por ejemplo, Googlebot para smartphones usa: 'Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)'. Servir contenido distinto según el user agent es delicado: si cambia lo que ve el usuario frente al bot, se convierte en cloaking. El dynamic rendering (HTML prerenderizado solo para bots) fue una solución temporal que Google ya no recomienda; hoy la vía preferente es el renderizado en servidor o la generación estática. El user agent tampoco basta para identificar a un bot, porque cualquiera puede falsificarlo: hay que verificarlo por DNS inverso o por los rangos de IP que publican Google, Bing y los crawlers de IA.
Ejemplos
- Verificación de Googlebot: Configurar el servidor para verificar el user agent de Googlebot y su IP reversa mediante
host google-bot-ipy confirmar que termina en .google.com o .googlebot.com para evitar scraping malicioso. - Dynamic rendering (legado): sitios con SPA en React o Vue detectaban user agents de bots y les servían HTML prerenderizado. Google lo considera hoy una solución temporal y aconseja migrar a SSR o SSG para que bots y usuarios reciban el mismo HTML.
- Mobile-first indexing: Google usa principalmente el user agent móvil de Googlebot para rastrear. Verificar en logs del servidor que Googlebot mobile está accediendo correctamente al contenido.
Consejos prácticos
- Nunca bloquees Googlebot en robots.txt basándote en user agent - verifica siempre con Google Search Console Inspection Tool
- Usa herramientas como 'User Agent Switcher' en Chrome DevTools para probar cómo tu sitio responde a diferentes bots
- Monitorea los logs del servidor para detectar patrones anómalos de user agents que puedan indicar scraping o ataques
- Si aún dependes de dynamic rendering, planifica la migración a SSR/SSG y, mientras tanto, verifica a los bots por DNS inverso o rangos de IP, no solo por la cadena de user agent
- Herramientas: Log File Analyzer de Screaming Frog, OnCrawl, Botify para análisis avanzado de user agents
Términos relacionados
- Googlebot: Principal crawler que se identifica mediante un user agent específico
- Black hat SEO: El cloaking, servir contenido engañoso según el user agent, es una práctica black hat
- Mobile-first indexing / Indexación mobile-first: Google indexa usando sobre todo el user agent móvil de Googlebot
- Crawlers de IA: GPTBot, ClaudeBot o PerplexityBot también se identifican por su user agent
En la GEOpedia
- GPTBot: GPTBot es el crawler que OpenAI usa para recopilar contenido con el que entrenar sus modelos; no es el bot que alimenta las búsquedas de ChatGPT.
- OAI-SearchBot: OAI-SearchBot es el crawler de OpenAI que rastrea la web para construir el índice de ChatGPT Search, del que salen las páginas que ChatGPT puede citar cuando busca.
- ClaudeBot: ClaudeBot es el crawler que Anthropic usa para recopilar contenido de entrenamiento para sus modelos Claude.