Cloudflare bloquea por defecto rastreadores de IA para proteger contenidos
La empresa activa medidas predeterminadas contra el scraping no autorizado. La decisión afecta a más de un millón de sitios web y permite a editores cobrar por el acceso de bots. Se anunció el 1 de julio de 2025 tras el aumento de crawlers que ignoran protocolos de exclusión.
«El free-for-all de la IA llega a su fin»
Cloudflare, proveedor de infraestructura web, implementa bloqueo automático a rastreadores de IA y lanza el programa Pay Per Crawl, donde editores pueden monetizar el acceso. Will Allen, responsable de privacidad de la firma, detalla que usan análisis de comportamiento y aprendizaje automático para identificar incluso bots ocultos. «Robots.txt es ignorado», denuncia Danielle Coffey de la News Media Alliance.
Impacto en medios y editores
La medida fortalece la posición negociadora de editoriales, según Nicholas Thompson de The Atlantic. Plataformas como Tollbit registraron 26 millones de scraping ilegítimos solo en marzo. ProRata, creadora del buscador Gist.AI, ya se adhirió al programa. «Los creadores deben ser compensados», afirma su CEO Bill Gross.
La batalla por los datos
El auge de la IA multiplicó los crawlers, sobrecargando servidores y generando conflictos legales. Empresas como OpenAI han firmado acuerdos opacos con publishers, mientras tutoriales enseñan a evadir bloqueos. Cloudflare aclara que los usuarios pueden desactivar la restricción.
Un nuevo capítulo en la web
El cambio de Cloudflare redefine el acceso a contenidos digitales, priorizando el control de los propietarios. Su éxito dependerá de la adopción por grandes actores de IA y la efectividad contra tácticas de evasión.
