Nueva York— El director general de Anthropic, Dario Amodei, afirmó el sábado que el sector de la inteligencia artificial debería ralentizar su vertiginoso desarrollo para dar tiempo a que las medidas de seguridad se pongan al día. De lo contrario, advirtió, la IA podría ser capaz, en un plazo de seis a doce meses, de liderar un enjambre que podría apoderarse de todo Internet, entre otros riesgos.

La advertencia se produce en un momento en el que crecen las preocupaciones sobre la IA tanto dentro como fuera del sector, y siguen apareciendo informes sobre sistemas cada vez más potentes que resuelven problemas más allá de la capacidad humana, pero que también podrían volverse perjudiciales y llevar a cabo otras tareas más dañinas. Las preocupaciones se han intensificado tanto que el director ejecutivo de OpenAI, la empresa responsable de ChatGPT, declaró en una entrevista con Fortune que su empresa esperaría hasta el año que viene para empezar a vender sus acciones a inversores de Wall Street, mientras se centra en la seguridad.

Amodei es una de las voces más influyentes en el ámbito de la inteligencia artificial y presentó un plan en una publicación de su página web para reforzar los controles sobre el sector, parte del cual, según indicó, Anthropic ya está aplicando por su cuenta. El resto de medidas requerirían una coordinación entre el sector en general y con los gobiernos de todo el mundo, incluidos los autoritarios.

“Creo que si la desaceleración nos diera aunque fuera uno o dos años más antes de que las instalaciones alcanzaran niveles críticos de capacidad, y aprovecháramos ese tiempo para avanzar en la coordinación, podríamos reducir en gran medida el riesgo de que algo saliera muy mal”, afirmó.

Durante años, los organismos de supervisión han instado al sector de la IA a que reduzca el ritmo de su desarrollo por motivos de seguridad. Sin embargo, la presión se ha intensificado tras la dimisión de varios trabajadores del sector que acusan a sus empresas de no actuar con responsabilidad.

“Muchas de las personas que conozco que trabajan en investigación de seguridad en empresas de IA quieren hacer lo correcto por el mundo”, escribió Joe Benton, antiguo empleado de Anthropic, en una publicación difundida el viernes en la que anunciaba su dimisión como miembro de un equipo de seguridad. “Pero sienten que sus empresas están atrapadas en una carrera por crear superinteligencia: o bien se detienen y otras personas menos conscientes ocupan su lugar, o bien continúan y se arriesgan a causar ellas mismas un daño enorme”.

Esto se produjo tras la sonada dimisión de Jacob Coxton, quien dimitió a principios de semana afirmando que Anthropic y OpenAI “se encuentran inmersas en una carrera hacia una superinteligencia capaz de superarse a sí misma y están poniendo en peligro nuestras vidas».

Esto avivó la presión sobre el sector después de que, durante años, fueran en aumento las preocupaciones por una posible superinteligencia que pudiera escapar al control de la humanidad, señaló Anthony Aguirre, presidente y director ejecutivo del Future of Life Institute, quien pidió una pausa de seis meses en el desarrollo del sector en 2023.

“Se han dado cuenta, sus empleados se han dado cuenta, todos se han dado cuenta de que están construyendo Skynet”, señaló. “Y al ganar la carrera hacia Skynet, nadie gana. De verdad, nadie”.

“Prácticamente ha quedado claro para el mundo, e incluso para las empresas de IA, que no están realmente preparadas para controlar los sistemas de IA que se esfuerzan por crear”.

Anthropic había declarado dos días antes que había bloqueado los intentos de actores malintencionados de utilizar sus modelos de IA para llevar a cabo actividades perjudiciales, como ciberataques, vigilancia e investigaciones que podrían haber dado lugar a armas biológicas. En julio, OpenAI conmocionó al sector tras afirmar que su sistema de IA había pirateado por sí solo a otra empresa en un “incidente cibernético sin precedentes”.

A principios de semana, el responsable de derechos humanos de la ONU, Volker Türk, instó a los países a establecer “garantías férreas en materia de seguridad y protección de la IA antes de que sea demasiado tarde”.

Por supuesto, algunos críticos restaron importancia a las advertencias anteriores, al considerar que son formas de avivar el entusiasmo por el sector de la IA y sus capacidades. Anthropic y OpenAI se preparan para posibles salidas a bolsa que podrían valorarlas en varios cientos de miles de millones de dólares, mientras que una gran parte del negocio de SpaceX, de Elon Musk, está vinculada a la IA.

El director ejecutivo de OpenAI, Sam Altman, declaró en una entrevista con Fortune publicada el sábado que su empresa no lanzaría su oferta pública inicial de acciones este año.

“Yo diría que no en 2026″, afirmó. “Sí, tenemos muchas cosas que hacer, como estar a la altura de las circunstancias en lo que respecta a las necesidades en materia de seguridad y coordinación, y a cómo pueden colaborar la industria y los gobiernos”.

Altman escribió el sábado en X, tras la publicación de las sugerencias de Amodei, que la empresa creadora de ChatGPT se comprometerá a adoptar una de las propuestas de seguridad de Amodei y que “pronto tendrá más que compartir”.

Por su parte, Elon Musk escribió en X que “Dario tiene razón”.

Amodei señaló que sigue creyendo en los enormes beneficios que la IA podría aportar, como las curas para enfermedades graves. Sin embargo, afirmó que, en los últimos meses, le ha preocupado más la creciente capacidad de la IA para mejorarse a sí misma y desarrollar la próxima generación de esa tecnología. “Sin controles, podría superar nuestra capacidad para comprender y controlar estos sistemas, y por eso debe abordarse con mucho cuidado, si es que se aborda”, afirmó.

También se refirió específicamente al ataque de julio en el que el sistema de OpenAI pirateó Hugging Face. Algunos lo han calificado como un ejemplo de una IA que se “descontrola”, aunque los investigadores han señalado que eso podría antropomorfizar innecesariamente a la IA, que trabajaba en un objetivo establecido por los humanos.

OpenAI afirmó que el ciberataque se debió a que la IA llegó a “extremos para alcanzar un objetivo de prueba bastante concreto” y que “encontró formas de acceder a información secreta que podía utilizar para hacer trampa en la evaluación”.

Para ayudar a mitigar los riesgos, Amodei sugirió que todas las empresas que operan en el ámbito de la IA se comprometieran a conceder “acceso continuo, similar al de un empleado” a un equipo de evaluadores externos, que pudieran supervisar las prácticas de seguridad.

Señaló que Anthropic ya tiene previsto hacerlo por su cuenta, lo que incluye ofrecer puestos de trabajo en sus oficinas, tarjetas de acceso y ordenadores portátiles de la empresa. Contar con evaluadores independientes integrados de esa manera es algo a lo que el propio Altman, de OpenAI, también se comprometió de inmediato.

El resto de las medidas del plan propuesto por Amodei podrían resultar más difíciles de poner en práctica. Una de ellas insta al Gobierno de Estados Unidos a que conceda posibles exenciones que permitan a las empresas estadounidenses de inteligencia artificial coordinarse y establecer normas de seguridad sin infringir la legislación antimonopolio.

Otra propone que Estados Unidos y otros gobiernos democráticos intenten coordinarse con los gobiernos autoritarios, para que las empresas de China y otros países no aceleren sus esfuerzos cuando los rivales de Estados Unidos reduzcan deliberadamente el ritmo.

“Las medidas que propongo para ampliar la frontera de forma segura no serán fáciles”, reconoció Amodei. “Pero creo que le debemos a la humanidad intentarlo”.