Pide una auditoría

Inicio / RoloPedia / SEOpedia

SEOpedia · SEO Técnico

Agente de usuario / User Agent

El User Agent es una cadena de texto que los navegadores y rastreadores web envían en las cabeceras HTTP para identificarse ante los servidores. En SEO, es fundamental porque permite distinguir entre usuarios reales y bots de búsqueda como Googlebot, además de identificar el tipo de dispositivo (desktop, mobile, bot). El formato estándar incluye información sobre el navegador, sistema operativo y motor de renderizado. Por ejemplo, Googlebot para smartphones usa: 'Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)'. Servir contenido distinto según el user agent es delicado: si cambia lo que ve el usuario frente al bot, se convierte en cloaking. El dynamic rendering (HTML prerenderizado solo para bots) fue una solución temporal que Google ya no recomienda; hoy la vía preferente es el renderizado en servidor o la generación estática. El user agent tampoco basta para identificar a un bot, porque cualquiera puede falsificarlo: hay que verificarlo por DNS inverso o por los rangos de IP que publican Google, Bing y los crawlers de IA.

Ejemplos

  • Verificación de Googlebot: Configurar el servidor para verificar el user agent de Googlebot y su IP reversa mediante host google-bot-ip y confirmar que termina en .google.com o .googlebot.com para evitar scraping malicioso.
  • Dynamic rendering (legado): sitios con SPA en React o Vue detectaban user agents de bots y les servían HTML prerenderizado. Google lo considera hoy una solución temporal y aconseja migrar a SSR o SSG para que bots y usuarios reciban el mismo HTML.
  • Mobile-first indexing: Google usa principalmente el user agent móvil de Googlebot para rastrear. Verificar en logs del servidor que Googlebot mobile está accediendo correctamente al contenido.

Consejos prácticos

  • Nunca bloquees Googlebot en robots.txt basándote en user agent - verifica siempre con Google Search Console Inspection Tool
  • Usa herramientas como 'User Agent Switcher' en Chrome DevTools para probar cómo tu sitio responde a diferentes bots
  • Monitorea los logs del servidor para detectar patrones anómalos de user agents que puedan indicar scraping o ataques
  • Si aún dependes de dynamic rendering, planifica la migración a SSR/SSG y, mientras tanto, verifica a los bots por DNS inverso o rangos de IP, no solo por la cadena de user agent
  • Herramientas: Log File Analyzer de Screaming Frog, OnCrawl, Botify para análisis avanzado de user agents

Términos relacionados

En la GEOpedia

  • GPTBot: GPTBot es el crawler que OpenAI usa para recopilar contenido con el que entrenar sus modelos; no es el bot que alimenta las búsquedas de ChatGPT.
  • OAI-SearchBot: OAI-SearchBot es el crawler de OpenAI que rastrea la web para construir el índice de ChatGPT Search, del que salen las páginas que ChatGPT puede citar cuando busca.
  • ClaudeBot: ClaudeBot es el crawler que Anthropic usa para recopilar contenido de entrenamiento para sus modelos Claude.

Jorge J. Rolo

SEO & AI Search Manager en Flat 101. Consultor SEO técnico.