OpenAI afirma que los ataques de inyección de prompts pueden ser un riesgo permanente

OpenAI reconoce que la inyección de prompts, un ataque que manipula a los agentes de IA, «es improbable que se solucione completamente». La compañía detalla en un blog las medidas para reforzar la seguridad de su navegador Atlas, lanzado en octubre, cuyo «modo agente amplía la superficie de amenaza».

Un desafío de seguridad a largo plazo

OpenAI describe la inyección de prompts como un desafío de seguridad a largo plazo para la IA. La empresa compara este riesgo con “los timos y la ingeniería social en la web”. El Centro Nacional de Ciberseguridad del Reino Unido (NCSC) advirtió este mes que estos ataques “pueden no mitigarse nunca totalmente”.

La respuesta: un atacante automatizado

La estrategia de OpenAI incluye un “atacante automatizado basado en LLM”. Este bot, entrenado con aprendizaje por refuerzo, busca formas de colar instrucciones maliciosas. Puede probar el ataque en simulación y estudiar la respuesta del agente objetivo para perfeccionarlo.

Demostración de un ataque y su mitigación

En una demostración, el atacante automatizado coló un correo malicioso en una bandeja de entrada. Cuando el agente de IA escaneó el buzón, siguió las instrucciones ocultas y envió un mensaje de renuncia. Tras la actualización de seguridad, el “modo agente” detectó el intento de inyección y lo señaló al usuario.

Recomendaciones para reducir el riesgo

OpenAI sugiere a los usuarios limitar el acceso con credenciales y dar instrucciones específicas a los agentes. Un portavoz indicó que Atlas está entrenado para solicitar confirmación del usuario antes de enviar mensajes o realizar pagos. Rami McCarthy, investigador de Wiz, señala que los navegadores agentes tienen “autonomía moderada combinada con un acceso muy alto”.

El equilibrio entre valor y riesgo

McCarthy expresa escepticismo sobre el balance actual. Afirma que “para la mayoría de los casos de uso cotidianos, los navegadores agentes aún no ofrecen suficiente valor” para justificar su perfil de riesgo. El acceso a datos sensibles los hace potentes, pero también aumenta significativamente el peligro.