Las alarmas suenan en todas las direcciones. La arrogancia de los líderes políticos —Trump, en primer lugar— y de los gigantes tecnológicos, aunada a su codicia, tendrá efectos inimaginables para la humanidad mientras más tarden en reaccionar. Al respecto, el periodista Édgar London analiza las causas de este desasosiego en la más reciente edición «Espacio 4».
«Los sistemas de inteligencia artificial (IA) ya han eludido controles, explotado vulnerabilidades y accedido a sistemas a los que no debían llegar. Sin embargo, para muchos especialistas, el riesgo es aún mayor. La tecnología podría avanzar hasta un punto en el que sus capacidades superen la posibilidad de mantenerlas bajo control, con consecuencias que algunos consideran potencialmente catastróficas para la humanidad. Frente a esa posibilidad, la Unión Europea y otros países avanzan en regulaciones y mecanismos de supervisión, mientras Estados Unidos insiste en darles la espalda con el objetivo de mantener su ventaja tecnológica, sin importar el costo económico y humano.
»Al interior de las empresas que desarrollan los sistemas más sofisticados aumentan las advertencias sobre los peligros de mantener el ritmo de desarrollo actual. Investigadores y directivos de algunas de las principales compañías del sector han planteado que las capacidades de los modelos pueden crecer más rápido que las medidas para comprenderlos, supervisarlos y limitar sus posibles daños.
»La advertencia cobró fuerza el 12 de septiembre, cuando Dario Amodei, director ejecutivo de Anthropic, pidió a la industria reducir la velocidad con la que mejora sus modelos de IA. En un ensayo titulado We must pace the frontier, Amodei sostiene que el objetivo no debe ser detener el desarrollo, sino ganar tiempo para establecer mecanismos de seguridad capaces de acompañar el avance tecnológico. “Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA”, escribe. Según Amodei, existe el riesgo de que los sistemas evolucionen más rápido de lo que sus creadores puedan comprender y controlar.
»Su propuesta contempla tres medidas. La primera consiste en permitir que evaluadores externos tengan acceso permanente a los sistemas de las empresas, con facultades similares a las de sus empleados, para comprobar las medidas de seguridad, informar de incidentes y evaluar el comportamiento de los modelos durante su entrenamiento. La segunda plantea que las democracias establezcan estándares comunes de seguridad para los sistemas
más avanzados. La tercera busca coordinar a esos países con Gobiernos autoritarios para establecer límites internacionales frente a determinados riesgos.
»La idea tuvo respuesta de algunos competidores de Anthropic. Sam Altman, director ejecutivo de OpenAI, escribió en X: “Coincido con Dario en que debemos avanzar a un ritmo adecuado en la frontera tecnológica”. También respaldó la presencia de evaluadores independientes con acceso similar al de los empleados y afirmó que OpenAI haría lo mismo. Elon Musk, director ejecutivo de xAI, se sumó: “Dario tiene razón”. Demis Hassabis, director ejecutivo de Google DeepMind, ha defendido una mayor coordinación y estándares de seguridad para el desarrollo de los sistemas más avanzados.
»La preocupación no procede únicamente de los directivos. El 9 de septiembre, Jacob Coxon, investigador que había trabajado en Anthropic y anteriormente en OpenAI, anunció su renuncia a la primera compañía. Explicó que abandonaba el sector porque consideraba que la carrera por desarrollar sistemas cada vez más capaces avanzaba más rápido que las medidas destinadas a hacerlos seguros. “Las personas que construyen IA creen sinceramente que podría matarnos a todos antes de que termine la década”, escribió Coxon. En una entrevista posterior, afirmó que «el próximo año o los dos próximos son el momento decisivo para la humanidad». Su publicación alcanzó más de 100 millones de visualizaciones en X».
Otro investigador de Anthropic, Evan Hubinger, estimó en más de 10 % la posibilidad de que la IA «acabe con todos los humanos» durante la próxima década. Hubinger trabaja en el área conocida como alineación, que busca conseguir que los sistemas actúen de acuerdo con los objetivos y las restricciones establecidos por sus desarrolladores. Él mismo señaló que Anthropic intenta resolver el problema, pero que todavía no existe un plan suficiente para garantizar la alineación de una eventual superinteligencia.
Estas advertencias coinciden con incidentes registrados durante las evaluaciones de seguridad de las propias empresas. En julio, varios modelos de OpenAI consiguieron eludir controles diseñados para mantenerlos aislados de internet durante una prueba de ciberseguridad. Según el informe publicado posteriormente por la compañía, utilizaron canales no autorizados, explotaron vulnerabilidades, recuperaron credenciales y accedieron a sistemas externos, incluidos servidores de Hugging Face.
OpenAI informó que los agentes ejecutaron código en decenas de servidores de Hugging Face y obtuvieron acceso de nivel root en uno de ellos. También consiguieron credenciales para la plataforma de mensajería de la compañía. La empresa afirmó que el incidente no afectó los datos de sus clientes ni la disponibilidad de sus productos.
Anthropic también ha documentado comportamientos similares. En septiembre informó que había identificado cuatro incidentes en los que modelos Claude obtuvieron acceso no autorizado a sistemas reales de terceros. Para localizar los casos, la compañía revisó inicialmente alrededor de 141 mil transcripciones y después amplió la búsqueda hasta unos 481 millones de registros.
