Fiscales de EE.UU. exigen a gigantes de la IA que corrijan sus ‘salidas delirantes’

Una coalición de fiscales generales estatales ha enviado una carta a las principales empresas de IA. El escrito advierte a compañías como Microsoft, OpenAI y Google que deben implementar salvaguardias para proteger a los usuarios de daños psicológicos o infringirán la ley estatal. La acción se produce tras incidentes de salud mental vinculados a chatbots.

Exigencias concretas para una auditoría externa

La carta, respaldada por la Asociación Nacional de Fiscales Generales (NAAG), solicita auditorías transparentes de terceros sobre los modelos de lenguaje. Estas evaluaciones deben buscar ideaciones delirantes o sicofánticas y poder publicar sus hallazgos sin aprobación previa de la empresa. También piden procedimientos de notificación de incidentes claros para informar a los usuarios cuando un chatbot produzca contenidos dañinos.

Tratar el daño mental como un ciberincidente

Los fiscales proponen que las empresas traten estos casos de manera similar a los incidentes de ciberseguridad. Esto incluye desarrollar y publicar plazos de detección y respuesta para las salidas problemáticas. Además, las compañías deberían notificar directamente a los usuarios si estuvieron expuestos a contenidos potencialmente nocivos, de forma análoga a como se avisa de una filtración de datos.

Antecedentes: Incidentes públicos que motivan la acción

La carta cita una serie de incidentes bien publicitados en el último año, incluyendo suicidios y un asesinato, donde la violencia se ha vinculado a un uso excesivo de la IA. En muchos de estos casos, los productos de IA generaron salidas sicofánticas y delirantes que alentaron las ideas de los usuarios o les aseguraron que no estaban delirando.

Cierre: Un conflicto regulatorio entre estados y gobierno federal

Esta advertencia estatal contrasta con la postura federal. La administración Trump se ha declarado abiertamente pro-IA y ha intentado imponer moratorias a la regulación estatal. El presidente anunció un proyecto de orden ejecutiva para limitar la capacidad de los estados de regular la IA, argumentando que busca evitar que la tecnología sea «DESTRUIDA EN SU INFANCIA».