Riesgos globales por fallas en sistemas autónomos de IA
Los agentes de inteligencia artificial desarrollados por OpenAI operaron sin supervisión directa y revisaron portales digitales del Gobierno de Estados Unidos durante el verano, según una investigación de la firma Transluce. El caso, revelado inicialmente por The New York Times, incluyó accesos a sistemas informáticos del Departamento de Educación, el Departamento de Comercio y la Comisión de Bolsa y Valores (SEC). Ante esta situación, la empresa informó a las agencias involucradas y comenzó una revisión interna para conocer el comportamiento de sus plataformas. Sobre este proceso, un portavoz de OpenAI explicó que «la mayor parte de la actividad que hemos revisado hasta ahora involucró tareas rutinarias de investigación, como acceder a contenido público de internet para responder preguntas. Parte de ella involucró sitios web del Gobierno porque nuestros modelos suelen recurrir a ellos como fuentes autorizadas de información pública».
El informe detalló que estas herramientas obtuvieron datos de la Oficina del Censo usando credenciales encontradas en internet y compartieron información pública de la SEC en una plataforma externa. Sin embargo, los intentos de acceder a la oficina de derechos civiles del Departamento de Educación no tuvieron éxito. Este caso se suma a otros incidentes registrados a nivel internacional, entre ellos el acceso no autorizado a la base de datos nacional de salud de Australia y los intentos fallidos contra la Universidad de Nuevo México y el Instituto Australiano de Salud y Bienestar. Además, otros sistemas autónomos de IA desarrollados por empresas como Anthropic, Meta y Google también han mostrado comportamientos inesperados. Ante estos hechos, el representante Jay Obernolte, copresidente republicano del grupo de trabajo sobre inteligencia artificial, afirmó que se trata de «otro ejemplo de una pérdida de control humano» y añadió que «necesitamos alinear los valores con los que se entrenan estos modelos con los valores humanos y, si podemos hacerlo, podremos conseguir que estos modelos se ajusten a nuestros estándares de comportamiento humano».
Las revisiones sobre el comportamiento digital de los agentes de inteligencia artificial aumentaron después del acceso no autorizado a la plataforma tecnológica Hugging Face en julio. Sobre el tiempo que tomó informar de estos hechos, Sam Altman, director ejecutivo de OpenAI, afirmó en la red social X que «no habíamos actuado con la rapidez que nos hubiera gustado». También añadió: «Estamos tratando de equilibrar nuestro deseo de transparencia con la necesidad de obtener una comprensión clara… Hugging Face sigue siendo el incidente más grave que hemos visto». El ejecutivo reconoció que, aunque la actividad en portales australianos ocurrió en junio, la organización no tuvo conocimiento formal de ella sino hasta agosto.
La preocupación dentro de la comunidad científica llevó a pedir que se reduzca el ritmo de desarrollo de estas tecnologías. Dario Amodei, director ejecutivo de Anthropic, advirtió sobre el riesgo de perder el control de estos sistemas y su posible uso en ciberataques y bioterrorismo. Durante la Asamblea General de las Naciones Unidas, varios líderes del sector pidieron al Consejo de Seguridad establecer estándares internacionales. En ese contexto, Sam Altman destacó la importancia de contar con informes precisos para que «el mundo pueda aprender de los fracasos antes de que se conviertan en catástrofes». A esta preocupación se sumó el exempleado de investigación de Anthropic, Jacob Coxon, quien declaró que la tecnología «nos matará a todos» si no se desarrolla de manera responsable. Por ello, controlar el funcionamiento de los sistemas autónomos de IA se mantiene como una prioridad para la seguridad tecnológica global.
