Googlebot es el rastreador web de Google: el programa que descubre URLs, descarga su contenido y lo envía a los sistemas que renderizan e indexan las páginas para Google Search.
Funciona en dos variantes, Googlebot Smartphone y Googlebot Desktop, y con la indexación mobile-first la que rastrea la gran mayoría de sitios es la de smartphone. Descubre URLs siguiendo enlaces, leyendo sitemaps y a partir de URLs ya conocidas, y respeta las reglas de robots.txt dirigidas a «Googlebot».
Tras descargar el HTML, las páginas pasan por el Web Rendering Service, que usa una versión evergreen de Chromium, es decir, actualizada con regularidad a la versión estable. Por eso Googlebot ejecuta JavaScript moderno. Aun así, el renderizado puede ir en una cola posterior al rastreo, y lo que solo aparece tras interacciones del usuario (clics, scroll infinito sin enlaces) no se ve. Googlebot también tiene límites documentados, como procesar solo los primeros 15 MB de cada archivo HTML.
Google gestiona la frecuencia de rastreo de forma automática según la capacidad del servidor y el interés de las URLs; el antiguo ajuste manual de velocidad de rastreo en Search Console ya no existe. Si el servidor responde lento o con errores 5xx o 429, Googlebot reduce el ritmo.
Entender cómo trabaja Googlebot es la base para diagnosticar casi cualquier problema de rastreo o indexación: qué ve, cuándo lo ve y qué le impide verlo.
Ejemplos
- Verificar un bot sospechoso: en los logs aparece un user agent de Googlebot desde una IP extraña. Una búsqueda DNS inversa o la comparación con los rangos IP que publica Google confirma si es real o un scraper suplantándolo.
- Contenido que no ve: las reseñas de una ficha se cargan al pulsar «Ver más». Googlebot no hace clic, así que ese texto no se indexa.
- Servidor saturado (ejemplo hipotético): tras una migración, el servidor devuelve 503 en horas punta y el informe de estadísticas de rastreo muestra una caída de peticiones.
Consejos prácticos
- Usa la Inspección de URLs de Search Console para ver el HTML renderizado y la captura de lo que Googlebot obtiene.
- Verifica Googlebot por DNS inverso o por los rangos IP oficiales antes de tomar decisiones basadas en logs.
- Revisa el informe de estadísticas de rastreo: peticiones por día, tiempo de respuesta y distribución por código de estado.
- Si necesitas frenar el rastreo en una emergencia, devuelve 503 o 429 temporalmente; no lo dejes así días.
- Asegúrate de que el contenido y los enlaces importantes estén en el HTML inicial o se rendericen sin interacción.
Cuidado con
- Bloquear CSS o JavaScript en robots.txt impide que Googlebot renderice bien la página y puede afectar a cómo la evalúa.
- Que un user agent diga «Googlebot» no prueba nada: se suplanta con facilidad.
Para profundizar en Googlebot
- Guía completa para SEO en Lovable: Lovable es una plataforma visual de creación web usando IA que promete construir sitios rápidamente.
Términos relacionados
- Agente de usuario / User Agent: Cadena con la que Googlebot se identifica
- Crawlability / Rastreabilidad: Lo que Googlebot puede alcanzar y leer
- JavaScript SEO: Cómo renderiza Googlebot el contenido generado con JS
- Mobile-first indexing / Indexación mobile-first: Hace que Googlebot Smartphone sea el rastreador principal
- Google-Extended: Token de robots.txt distinto de Googlebot, para usos de IA de Google
En la GEOpedia
- Crawlers de IA: Los crawlers de IA son los bots con los que las empresas de inteligencia artificial descargan páginas web, y se dividen en tres funciones que conviene no mezclar: búsqueda o indexación, fetch en vivo a petición del us…