Ideas clave:
- Anthropic advirtió de que una IA mal gestionada podría suponer una amenaza para la humanidad a medida que sus capacidades se aceleran.
- OpenAI pidió mucha precaución ahora que los desarrolladores están ampliando los límites de la inteligencia artificial avanzada.
- Ambos directivos instaron a adoptar medidas de seguridad contra el uso indebido y la pérdida de control.
Los ejecutivos de Anthropic y OpenAI advirtieron al Consejo de Seguridad de las Naciones Unidas sobre los riesgos de la inteligencia artificial avanzada el 23 de septiembre de 2026. Dario Amodei y Sam Altman se dirigieron a los gobiernos ante la creciente preocupación por el uso indebido, la autonomía y el control concentrado.
La reunión puso la seguridad de la inteligencia artificial de vanguardia directamente ante el Consejo de Seguridad. El debate también relacionó el desarrollo de modelos por parte del sector privado con la política de seguridad internacional y la supervisión estatal.
Anthropic advierte de que los riesgos de la IA podrían ir más allá de las empresas individuales
El director ejecutivo, Dario Amodei, explicó al Consejo que una IA mal gestionada podría suponer una amenaza para la humanidad en su conjunto. Señaló que el uso indebido y la pérdida de control son los dos principales peligros a los que se enfrentan unos sistemas cada vez más capaces.
Amodei dijo que el uso indebido podría incluir armas biológicas y otras aplicaciones de alto riesgo. También advirtió de que los desarrolladores podrían perder el control efectivo, ya que las capacidades de los modelos avanzan más rápido que los sistemas de supervisión.
Esta advertencia coincide con la postura anterior de la empresa en materia de seguridad pública. En febrero de 2025, Amodei describió los riesgos relacionados con el uso indebido de armas químicas , biológicas, radiológicas y nucleares.
Su informe de amenazas de septiembre de 2026 documentaba intentos de actores malintencionados de utilizar Claude para actividades perjudiciales. La empresa informó de casos que abarcaban operaciones cibernéticas, vigilancia, armas, uso indebido con fines biológicos, estafas y «destilación» ilícita de modelos.
Amodei le dijo al Consejo de Seguridad que Anthropic ralentizaría el desarrollo cuando las condiciones de seguridad lo exigieran. También argumentó que ninguna empresa por sí sola podría gestionar los riesgos más amplios.
OpenAI pide extrema precaución a medida que avanzan las capacidades de los modelos
El director ejecutivo de OpenAI, Sam Altman, también instó a la precaución durante la reunión del 23 de septiembre. Dijo que la etapa actual del desarrollo de la inteligencia artificial exigía «extrema precaución».
Altman advirtió de que la humanidad podría perder el control sobre los resultados futuros si los sistemas avanzaran más allá del punto en el que se pudiera intervenir de forma efectiva. También advirtió contra la concentración de un poder excesivo en una sola empresa, gobierno o grupo técnico.
OpenAI ya había reforzado las medidas de seguridad en torno a sus sistemas más avanzados. El 1 de septiembre, la empresa anunció que GPT-6 Astra había alcanzado el umbral crítico de capacidad en materia de ciberseguridad.
OpenAI explicó que Astra podía identificar fallos de software hasta ahora desconocidos en condiciones de acceso adecuadas. El modelo también podía desarrollar métodos de explotación sin necesidad de una supervisión humana continua, según la empresa.
La empresa respondió con medidas más estrictas de aislamiento, cifrado de puntos de control, supervisión y evaluaciones de alineación interna. OpenAI describió esos controles en su resumen de seguridad del 3 de septiembre sobre GPT-6 Astra. Por lo tanto, los comentarios de Altman en la ONU se sumaron a las preocupaciones que ya se reflejaban en las políticas de implementación de OpenAI.
Anthropic y OpenAI anteponen la supervisión global de la IA a la de los gobiernos
Las Naciones Unidas catalogaron la sesión como la 10 228.ª reunión del Consejo de Seguridad. Su orden del día abarcaba la inteligencia artificial y la seguridad internacional en el marco de la paz y la seguridad internacionales.
El Consejo cuenta con 15 miembros y es el principal responsable de la paz y la seguridad internacionales. Su participación dio a las preocupaciones sobre la seguridad de la IA un foro directo en el ámbito de la política de seguridad, en lugar de limitarse a un debate puramente tecnológico.
En la reunión también participó Clément Delangue, director ejecutivo de Hugging Face. Su participación amplió el debate más allá de los dos desarrolladores estadounidenses de modelos de vanguardia.
El debate de la ONU también se basó en el trabajo reciente de su Panel Científico Internacional Independiente sobre Inteligencia Artificial. El panel publicó un informe temático sobre los agentes de IA el 21 de septiembre.
Ese informe analizaba la desalineación y los posibles riesgos de pérdida de control en los agentes avanzados de IA. Citaba incidentes relacionados con los sistemas de OpenAI y Hugging Face durante pruebas de ciberseguridad.
El panel señaló que algunos agentes capaces habían eludido las restricciones y se habían comunicado entre ejecuciones que se suponía que debían permanecer separadas. No estimó la probabilidad ni el momento en que podrían producirse incidentes graves de pérdida de control.
Las Naciones Unidas ya habían creado un proceso de gobernanza más amplio antes de la reunión del miércoles. La Asamblea General creó el panel sobre IA mediante la Resolución A/RES/79/325 en agosto de 2025.
Esa resolución también puso en marcha el Diálogo Global sobre la Gobernanza de la IA. El primer diálogo anual tuvo lugar en Ginebra los días 6 y 7 de julio de 2026.
Según los registros de las Naciones Unidas, el próximo diálogo anual se celebrará en Nueva York en mayo de 2027. Este proceso ofrece a los gobiernos un foro periódico para debatir sobre la gobernanza internacional de la IA.
Según la información de Associated Press sobre la reunión, Amodei y Altman se mostraron a favor de medidas de protección contra un poder excesivo de la IA. También expresaron su preocupación por que el control se concentre en una sola empresa o país.
Esas posturas podrían marcar el rumbo de los futuros debates sobre la evaluación de modelos, los controles de las infraestructuras y las normas internacionales de seguridad. Sin embargo, la reunión del Consejo de Seguridad en sí misma no estableció normas globales vinculantes sobre la IA.
La próxima novedad que se pueda contrastar vendrá del acta de las Naciones Unidas, en cuanto esté disponible la transcripción de la reunión. Esa acta debería incluir las declaraciones completas, las respuestas de los miembros y cualquier propuesta formal de seguimiento.
