Pay per crawl es el modelo de Cloudflare que permite a un sitio cobrar a los crawlers de IA por acceder a su contenido, en lugar de limitarse a dejarlos pasar o bloquearlos. En 2026 evolucionó hacia Pay Per Use: el editor cobra cuando su contenido aparece en una respuesta, no solo cuando el bot lo descarga. Los socios de lanzamiento fueron Ceramic.ai y You.com.
El contexto es la política de bots de Cloudflare, que, según la propia Cloudflare, está delante de cerca del 20% de la web. El 1 de julio de 2026 reclasificó el tráfico de IA en búsqueda, entrenamiento y agentes de usuario. Desde el 15 de septiembre de 2026 bloquea por defecto los crawlers de uso mixto, los que no separan búsqueda y entrenamiento, en páginas con publicidad. Afecta a clientes nuevos, a sitios nuevos y a todo el plan gratuito.
Para la mayoría de marcas, cobrar a un bot de búsqueda tiene el mismo efecto que bloquearlo: si no paga, no te lee y no te cita. Tiene más sentido para medios y editores cuyo contenido es el propio producto.
Ejemplos
- Medio de noticias: cobra a los crawlers de entrenamiento y deja libres los de búsqueda y fetch para seguir apareciendo en las respuestas.
- Sorpresa en el plan gratuito: un blog en Cloudflare free pierde el acceso de bots de IA tras el cambio de septiembre de 2026 sin haber tocado nada.
Consejos prácticos
- Antes de activar el cobro, separa los bots por función: bloquear o cobrar a los de búsqueda y fetch casi nunca compensa.
- Revisa cada trimestre la configuración de bots de IA en el panel de Cloudflare.
- Tras cualquier cambio, confirma en los logs que los bots que quieres permitir reciben 200.
- Decide el modelo (permitir, cobrar o bloquear) con negocio y legal, y déjalo por escrito.
Cuidado con
- En Cloudflare, no hacer nada ya no es neutral: los defaults cambian solos.
- Lo que ingreses cobrando a bots de búsqueda puede ser menos de lo que pierdes en visibilidad.
Evidencia fuerte. Los cambios de bloqueo por defecto y el paso a Pay Per Use están documentados por Cloudflare y recogidos por TechCrunch; el retorno económico para cada editor no está medido.
Términos relacionados
- Crawlers de IA: Los bots a los que se cobra, se permite o se bloquea.
- Opt-out de entrenamiento (reserva TDM): La otra vía para decidir sobre el uso de tu contenido en entrenamiento.
- GPTBot: Ejemplo de bot de entrenamiento al que tiene sentido cobrar o bloquear.
- Citación en IA: Lo que se pierde si el bot de búsqueda no paga y no entra.