Perplexity defiende su acceso a webs pese a bloqueos de Cloudflare
La polémica sobre el raspado web de IA divide a la industria tecnológica. Cloudflare acusó al buscador de evadir restricciones, mientras defensores argumentan que actúa como un usuario humano. El debate refleja el desafío regulatorio ante el auge de agentes de IA.
«¿Bot o humano? La línea se desdibuja»
Cloudflare «denunció y avergonzó» públicamente a Perplexity el 5 de agosto, tras comprobar que el buscador accedió a un sitio bloqueado explícitamente en su archivo robots.txt. «Algunas empresas de IA actúan como hackers norcoreanos», declaró el CEO Matthew Prince en X. La compañía usó un dominio nuevo como prueba, detectando que Perplexity empleó un navegador genérico para imitar Chrome.
Los argumentos a favor
Usuarios en X y Hacker News defendieron que el acceso impulsado por consultas humanas no equivale a raspado masivo. «Si yo pido un sitio, ¿por qué mi agente de IA debería ser bloqueado?», cuestionó un usuario. Perplexity negó la propiedad de los bots y tachó el informe de Cloudflare de «estrategia comercial», atribuyendo el comportamiento a un tercero.
La batalla por el tráfico web
Según Imperva, más del 50% del tráfico online ya proviene de IA, superando por primera vez a los humanos. Cloudflare destacó que OpenAI sí respeta robots.txt, mientras Perplexity replicó que «distinguir entre asistentes legítimos y amenazas es técnicamente inviable». El estándar Web Bot Auth, apoyado por Cloudflare, busca regular estas interacciones.
El dilema económico
Los sitios web tradicionalmente colaboraban con rastreadores como Googlebot porque generaban tráfico valioso. Ahora, los LLMs reducen las visitas directas: Gartner prevé un 25% menos de búsquedas para 2026. «¿Bloquear los agentes significa perder ingresos?», plantea el conflicto entre monetización y control.
Cuando los bots gobernaban la red
Históricamente, internet asumió que los bots eran maliciosos (37% del tráfico actual) y se bloquearon con CAPTCHAs. La indexación de Google era la excepción, al beneficiar a los sitios. La irrupción de IA obliga a redefinir qué acceso es legítimo, especialmente cuando agentes realizan transacciones sin visitar las webs.
Un conflicto que apenas comienza
El caso Perplexity evidencia la falta de consenso sobre el acceso de IA a contenidos públicos. Mientras los sitios protegen sus ingresos, los usuarios priorizan la comodidad. La industria deberá decidir si los agentes merecen trato humano o requieren nuevas regulaciones.
