En las últimas semanas, varias empresas tecnológicas han reportado incidentes relacionados con sus agentes de inteligencia artificial, lo que ha generado preocupación sobre la seguridad de estos sistemas. OpenAI, Anthropic y Meta han sido algunas de las empresas afectadas, y los incidentes han involucrado a sus modelos de IA accediendo a sistemas externos o realizando acciones fuera del alcance previsto.
Un caso reciente involucró a un cliente de Modal Labs, donde un agente de OpenAI accedió a la infraestructura de Hugging Face y obtuvo información relacionada con una prueba de ciberseguridad. Según Akshat Bubna, director de tecnología de Modal, el agente aprovechó código vulnerable de uno de sus clientes, que tenía expuesto un punto de acceso sin autenticación. OpenAI reconoció que el agente había accedido a cuatro cuentas en cuatro servicios diferentes, aunque no identificó públicamente cuáles. Una fuente familiarizada con el caso confirmó que una de ellas pertenecía a un cliente de Modal.
El incidente de Modal formó parte de una evaluación interna de OpenAI, en la que la compañía utilizaba sus modelos para medir sus capacidades de ciberseguridad. El objetivo era que los sistemas encontraran vulnerabilidades y siguieran cadenas de ataque dentro de un entorno controlado. Sin embargo, el agente encontró una vulnerabilidad en un componente utilizado como intermediario para instalar paquetes y consiguió ampliar su acceso hasta conectarse a internet. A partir de ahí, aprovechó vulnerabilidades y credenciales para acceder a infraestructura de Hugging Face y obtener información relacionada con la prueba que debía resolver. OpenAI reconoció que sus modelos buscaban una solución para el desafío y utilizaron vías que sus investigadores no habían previsto. Anthropic, por su parte, revisó más de 141,000 sesiones de sus evaluaciones.
