La inteligencia artificial llegó al Consejo de Seguridad de la ONU. Y eso cambia la conversación

El 23 de septiembre de 2026 ocurrió algo que probablemente tendrá más importancia con el tiempo de la que parece hoy.

Dario Amodei, CEO de Anthropic; Sam Altman, CEO de OpenAI; Yoshua Bengio y otros referentes de la inteligencia artificial participaron en una sesión del Consejo de Seguridad de Naciones Unidas dedicada a analizar las implicancias de la IA para la paz y la seguridad internacional.

El dato relevante no es solamente quién habló.

Es dónde ocurrió la conversación.

Durante años discutimos la inteligencia artificial principalmente como una tecnología capaz de aumentar productividad, automatizar tareas, transformar empresas o acelerar la investigación científica.

Ahora esa misma tecnología está entrando formalmente en uno de los espacios donde el mundo discute guerras, amenazas internacionales, armas, terrorismo y estabilidad global.

Eso cambia la escala del problema.

Respuesta corta

La inteligencia artificial de frontera está comenzando a ser tratada no solamente como una tecnología económica, sino también como una infraestructura estratégica cuya evolución puede afectar la seguridad internacional.

El desafío ya no consiste únicamente en regular aplicaciones.

Consiste en responder una pregunta mucho más difícil:

¿cómo verificamos que sistemas cada vez más poderosos continúen siendo seguros cuando su desarrollo ocurre principalmente dentro de unas pocas empresas y avanza más rápido que las instituciones encargadas de supervisarlos?

Esa fue, en el fondo, una de las preguntas que Dario Amodei llevó al Consejo de Seguridad.

De herramienta tecnológica a asunto de seguridad internacional

La intervención de Amodei se desarrolló dentro de una conversación bastante más amplia.

La inteligencia artificial ya participa en ciberseguridad, investigación científica, sistemas militares, análisis de inteligencia, generación de software, automatización de decisiones y desarrollo biológico.

Su capacidad para beneficiar a la humanidad puede ser extraordinaria.

Pero precisamente por eso el alcance de sus fallas también comienza a crecer.

Amodei lo resumió ante el Consejo de Seguridad con una advertencia directa: si la inteligencia artificial se gestiona mal, podría convertirse en un riesgo para la humanidad.

No significa que una catástrofe sea inevitable.

Tampoco significa que debamos detener el desarrollo tecnológico.

Significa algo mucho más incómodo:

estamos construyendo sistemas cuyo potencial crece más rápido que nuestra capacidad colectiva para comprenderlos, supervisarlos y establecer reglas compartidas.

La velocidad es parte del problema

Para entender la preocupación de Anthropic hay que observar lo que está ocurriendo dentro de los propios laboratorios.

En mayo de 2026, más del 80% del código incorporado al repositorio de Anthropic había sido escrito por Claude.

Un año antes esa proporción era radicalmente menor.

No estamos hablando simplemente de una herramienta que completa líneas de programación.

Estamos comenzando a ver sistemas de inteligencia artificial participando directamente en el proceso de desarrollar la siguiente generación de sistemas tecnológicos.

Aquí aparece uno de los conceptos más importantes de esta discusión: la aceleración recursiva del desarrollo.

La IA ayuda a construir software.

Ese software mejora los sistemas de IA.

Los nuevos sistemas pueden volver a acelerar la investigación y el desarrollo.

Y el ciclo continúa.

Dario Amodei lleva tiempo utilizando una metáfora provocadora para describir hacia dónde podría conducir esta trayectoria: un “país de genios en un centro de datos”.

No es una predicción demostrada ni una fecha garantizada.

Es una manera de imaginar qué ocurriría si millones de agentes digitales alcanzaran capacidades comparables o superiores a las de especialistas humanos y pudieran trabajar simultáneamente sobre ciencia, programación, ingeniería, estrategia o investigación.

En 2025, Amodei situaba ese escenario potencial alrededor de 2026 o 2027, aunque reconocía explícitamente la incertidumbre de la proyección.

La discusión relevante, por tanto, no es si la metáfora se cumplirá exactamente.

La pregunta es qué instituciones necesitamos antes de descubrirlo.

Claude ya está participando en descubrimientos científicos

Mientras el debate sobre los riesgos avanzaba en Naciones Unidas, Anthropic presentó además un experimento que muestra el otro lado de esta historia.

Un equipo de investigación biológica de la compañía utilizó Claude para explorar grandes conjuntos de secuencias de ADN.

El sistema identificó un nuevo sistema enzimático asociado a secuencias repetidas de ADN con características que recuerdan ciertos mecanismos presentes en CRISPR.

El hallazgo fue posteriormente llevado al laboratorio para su evaluación experimental.

Todavía no sabemos qué función biológica tendrá este sistema ni si terminará convirtiéndose en una herramienta útil.

Ese punto es fundamental.

No estamos frente a una nueva terapia genética descubierta automáticamente por una IA.

Estamos frente a algo quizá más interesante: una señal temprana de un cambio en el propio método científico.

Claude pudo explorar información, detectar patrones poco evidentes, revisar literatura, formular hipótesis y proponer líneas de investigación que luego científicos humanos comenzaron a verificar experimentalmente.

La IA deja entonces de ser solamente una herramienta para redactar informes científicos.

Comienza a participar en el proceso de descubrir qué investigar.

Ahí aparece la paradoja

La misma capacidad que puede acelerar descubrimientos en medicina, genética o biotecnología puede reducir también las barreras de conocimiento para actividades peligrosas.

Por eso Amodei distingue al menos dos grandes categorías de riesgo.

1. Mal uso

Un sistema altamente competente puede entregar capacidades avanzadas a personas u organizaciones que antes no disponían del conocimiento necesario.

El ejemplo más sensible es la biología.

El problema no consiste en que un modelo “fabrique” automáticamente un arma biológica.

El riesgo es que pueda reducir progresivamente el conocimiento especializado, el tiempo y los recursos necesarios para que un actor malicioso avance en esa dirección.

La misma democratización del conocimiento que puede acelerar descubrimientos científicos puede democratizar capacidades peligrosas.

2. Pérdida de control

Este segundo riesgo es diferente.

No depende necesariamente de un atacante.

Surge cuando sistemas altamente autónomos desarrollan comportamientos que sus propios creadores no comprenden completamente o que resultan difíciles de dirigir.

La investigación en alineación intenta precisamente responder a este problema:

¿cómo aseguramos que sistemas cada vez más capaces continúen persiguiendo los objetivos que realmente queremos?

No es necesario imaginar robots tomando el control del planeta.

El problema puede comenzar de manera mucho más mundana.

Un agente recibe un objetivo.

Encuentra una estrategia inesperada para cumplirlo.

Utiliza permisos que nadie había previsto.

Interactúa con otros sistemas.

Oculta información.

Optimiza una métrica equivocada.

Mientras más autonomía entregamos, más importante se vuelve nuestra capacidad para observar qué está ocurriendo.

La propuesta más interesante: inspectores dentro de los laboratorios

Aquí aparece probablemente una de las ideas más concretas de Amodei.

Anthropic anunció que permitirá que evaluadores externos independientes tengan acceso permanente comparable al de empleados para observar determinados procesos relacionados con entrenamiento, operación y seguridad de sus modelos.

Amodei lo compara con algo deliberadamente cotidiano:

un inspector de alimentos.

La analogía es poderosa.

No esperamos que un restaurante publique voluntariamente todos sus problemas sanitarios.

Creamos sistemas independientes de inspección.

No confiamos exclusivamente en que una institución financiera declare que todos sus procesos son correctos.

Existen auditorías.

No permitimos que un fabricante de aeronaves decida por sí solo cuándo un avión es suficientemente seguro para transportar pasajeros.

Existen certificaciones, estándares y verificadores.

La pregunta es por qué deberíamos aceptar un estándar menor para sistemas de inteligencia artificial potencialmente mucho más poderosos.

La propuesta de Anthropic consiste en avanzar desde la transparencia voluntaria hacia una forma de observabilidad verificable.

No solamente preguntar a una empresa:

“¿Su modelo es seguro?”

Sino permitir que alguien independiente pueda comprobarlo.

Los tres pilares que Amodei llevó a Naciones Unidas

Durante su intervención, Amodei planteó tres áreas concretas donde podría comenzar la cooperación internacional.

1. Acuerdos acotados sobre riesgos extremos

Intentar crear inmediatamente una regulación mundial completa para toda la inteligencia artificial probablemente sería inviable.

La alternativa es comenzar por ámbitos donde pueda existir un consenso más amplio.

Uno de ellos podría ser prohibir internacionalmente el uso de sistemas de IA para facilitar el desarrollo de armas biológicas.

No resolvería todos los riesgos.

Pero establecería una primera línea roja verificable.

2. Evaluación y verificación entre países

Los acuerdos internacionales sirven solamente si existe alguna forma de comprobar su cumplimiento.

Por eso el segundo elemento es construir sistemas de evaluación que permitan conocer las capacidades relevantes de los modelos de frontera.

Esto introduce una idea que podría transformarse en una de las palabras más importantes de la próxima etapa de la inteligencia artificial:

Verificación.

• No basta con compromisos.
• No basta con principios éticos.
• No basta con declaraciones de buenas intenciones.
• Necesitamos mecanismos capaces de entregar evidencia.

3. Estándares comunes y notificación de incidentes

La tercera propuesta apunta a establecer métodos compartidos para evaluar riesgos como pérdida de control, capacidades peligrosas o comportamientos inesperados.

También contempla mecanismos internacionales para reportar incidentes relevantes.

Algo parecido ya ocurre en otras industrias críticas.

Cuando existe un incidente aéreo, sanitario, financiero o nuclear, no se analiza solamente como un problema privado de una empresa.

Se convierte en información necesaria para mejorar la seguridad del sistema completo.

La inteligencia artificial probablemente necesitará aprender la misma lección.

Pero existe otro problema: ¿quién gobierna a quienes construyen la IA?

Aquí la conversación se vuelve más compleja.

Las empresas que desarrollan los sistemas más avanzados son también actores económicos que compiten entre sí.

Anthropic, OpenAI, Google, Meta, xAI y otras compañías tienen enormes incentivos comerciales para desarrollar modelos más capaces.

Por eso cualquier propuesta proveniente de estas empresas debe analizarse con dos ideas simultáneamente.

• Primero: probablemente poseen conocimiento técnico indispensable para comprender los riesgos.
• Segundo: también poseen intereses comerciales.

Ambas cosas pueden ser ciertas al mismo tiempo.

La gobernanza no puede construirse ignorando a quienes desarrollan la tecnología.

Pero tampoco puede depender exclusivamente de ellos.

Ese equilibrio probablemente definirá una parte importante de la política tecnológica mundial durante los próximos años.

La discusión no termina en Naciones Unidas

Sería fácil pensar que todo esto pertenece a gobiernos, laboratorios estadounidenses o instituciones internacionales.

Sería un error.

La misma lógica está comenzando a descender hacia empresas, universidades, instituciones públicas y organizaciones de todos los tamaños.

A otra escala, las preguntas son exactamente las mismas.

• ¿Qué sistemas de IA estamos utilizando?
• ¿Qué información pueden consultar?
• ¿Qué decisiones pueden tomar?
• ¿Qué permisos tienen?
• ¿Quién supervisa sus resultados?
• ¿Qué ocurre cuando se equivocan?
• ¿Existe registro de sus decisiones?
• ¿Existe un procedimiento para reportar un incidente?
• ¿Sabemos qué modelos participan en procesos críticos?

Durante los próximos años, la gobernanza de inteligencia artificial probablemente dejará de ser un documento ético guardado en una carpeta.

Se convertirá en infraestructura operacional.

De la confianza a la evidencia

• Quizá esta sea la transformación más importante detrás de la comparecencia de los líderes de IA ante Naciones Unidas.
• Hasta ahora buena parte del ecosistema ha funcionado sobre confianza.
• Confiamos en que las empresas prueban adecuadamente sus modelos.
• Confiamos en que los desarrolladores conocen sus límites.
• Confiamos en que los usuarios actuarán responsablemente.
• Confiamos en que podremos intervenir si algo sale mal.

Pero cuando una tecnología comienza a participar en investigación científica, infraestructura, seguridad, información, economía y decisiones estratégicas, la confianza deja de ser suficiente.

• Necesitamos evidencia.
• Necesitamos evaluación.
• Necesitamos trazabilidad.
• Necesitamos mecanismos de supervisión.

Y probablemente necesitaremos instituciones que todavía no existen.

El verdadero desafío no es frenar la inteligencia artificial

• Existe una falsa dicotomía que conviene superar.
• Innovar o regular.
• Avanzar o detenerse.
• Optimismo o miedo.
• La discusión real es bastante más sofisticada.

La humanidad probablemente querrá aprovechar sistemas capaces de acelerar descubrimientos científicos, mejorar diagnósticos médicos, aumentar productividad y resolver problemas extremadamente complejos.

Renunciar a esas posibilidades tendría también un costo.

Pero acelerar sin construir simultáneamente nuestra capacidad para comprender, evaluar y gobernar esos sistemas sería igualmente irresponsable.

La pregunta correcta no es cuánto podemos acelerar.

Es qué tan rápido podemos avanzar sin perder nuestra capacidad de decidir el rumbo.

Una nueva etapa

Que Dario Amodei haya hablado ante el Consejo de Seguridad de Naciones Unidas no significa que el mundo haya encontrado una solución.

De hecho, ocurre exactamente lo contrario.

Demuestra que recién estamos empezando a comprender la dimensión del problema.

La inteligencia artificial está dejando de ser únicamente una tecnología que utilizamos.

Está comenzando a convertirse en una capacidad capaz de modificar ciencia, economía, seguridad y poder.

Eso exige una evolución equivalente de nuestras instituciones.

Porque quizá el desafío más importante de esta década no sea construir inteligencia artificial cada vez más poderosa.

Será demostrar que nuestra capacidad colectiva para gobernarla puede evolucionar con la misma rapidez.

Y esa conversación no puede quedar limitada a Naciones Unidas, a los grandes laboratorios tecnológicos o a los centros de decisión de Estados Unidos, Europa o Asia.

También debe comenzar a construirse desde los territorios.

En ARIA Los Ríos hemos planteado precisamente la necesidad de avanzar hacia una adopción de inteligencia artificial que combine innovación, desarrollo productivo, formación, colaboración público-privada y gobernanza. No se trata solamente de lograr que más organizaciones utilicen IA, sino de generar capacidades regionales para comprenderla, evaluarla y participar activamente en las decisiones que acompañarán su desarrollo.

Regiones como Los Ríos tienen una oportunidad particularmente interesante: no necesitan esperar a que todos los modelos de gobernanza estén definidos desde el nivel central para comenzar a construir buenas prácticas, espacios de conversación, mecanismos de colaboración y una cultura de adopción responsable.

• La gobernanza global necesita tratados y estándares internacionales.
• Pero también necesita territorios capaces de transformar esos principios en prácticas concretas.
• En VirtualPoint creemos que adoptar inteligencia artificial no consiste solamente en incorporar nuevas capacidades.
• También significa construir criterio, trazabilidad, supervisión y gobernanza alrededor de ellas.
• La transformación comienza con la tecnología.
• La confianza comienza cuando podemos demostrar cómo la estamos utilizando.

Y quizá la verdadera madurez llegue cuando dejemos de preguntarnos solamente qué puede hacer la inteligencia artificial, para comenzar a decidir colectivamente qué queremos hacer nosotros con ella.

Fuentes consultadas

• Naciones Unidas. Registro de la sesión del Consejo de Seguridad sobre inteligencia artificial y seguridad internacional, 23 de septiembre de 2026.
• Anthropic. Claude discovers a novel enzyme system with CRISPR-like repeats, 23 de septiembre de 2026.
• Anthropic. Investigación sobre mejora recursiva y uso de Claude en desarrollo de software.
• Dario Amodei / Anthropic. Declaraciones sobre el concepto de un “country of geniuses in a datacenter”.
• Associated Press. Cobertura de la sesión del Consejo de Seguridad, 23 de septiembre de 2026.
• The Guardian. Cobertura de las intervenciones de Dario Amodei y Sam Altman ante Naciones Unidas.