La inteligencia artificial se ha convertido en objeto de un intenso debate sobre si podría causar daños catastróficos y cuándo. Quienes están más cerca de su desarrollo avanzan en tres direcciones. El primer grupo, cuyos representantes más conocidos son Sam Altman (OpenAI) y Dario Amodei (Anthropic), sostiene que las salvaguardas y la coordinación internacional deben ponerse al día con los sistemas más capaces antes de que estos las superen. Su argumento se basa en una asimetría: los desarrolladores descubren nuevas capacidades mucho antes que los gobiernos, y la presión comercial castiga a cualquier laboratorio que se ralentice por sí solo.

El desafío técnico más contundente proviene de Yann LeCun, antiguo científico jefe de IA de Meta y ahora fundador de AMI Labs. Los sistemas actuales, sostiene, siguen siendo frágiles: carecen de una comprensión duradera y no pueden planificar de verdad. Regularlos como si las capacidades futuras especulativas ya existieran sería un error. Quienes comparten su opinión prefieren normas dirigidas a daños demostrados y usos específicos. Advierten que las licencias prematuras incorporarían supuestos equivocados en la legislación y consolidarían a los actores establecidos mejor posicionados para cumplirlos.

El tercer grupo defiende la apertura y la velocidad. Su principal defensor, Jensen Huang (Nvidia), sostiene que la IA debería difundirse de la forma más amplia y rápida posible. En su opinión, los modelos abiertos permiten que más investigadores, empresas emergentes y países desarrollen la tecnología, y cada nación debería desarrollar su propia «IA soberana» en lugar de depender de unos pocos proveedores. La afirmación de fondo es que concentrar la capacidad fundacional en un puñado de empresas constituye en sí mismo un riesgo.

Cada grupo ha identificado un peligro real. Los cautelosos temen fallos irreversibles; los escépticos, normas especulativas y la captura regulatoria; los defensores de la apertura, el poder concentrado en demasiadas pocas manos. Sin embargo, cada uno tiende a tratar su propio peligro como el más importante.

En mi opinión, lo que importa más no es qué grupo ha interpretado correctamente el futuro —nadie puede saberlo todavía—, sino si un fallo, una vez que ocurre, puede prevenirse, contenerse o corregirse. La gobernanza debería calibrarse en consecuencia: ligera cuando los errores puedan gestionarse, estricta cuando no puedan.

El liderazgo comienza antes del cumplimiento

La regulación es necesaria. Las normas son lo que mantiene a una sociedad, una organización e incluso un individuo en condiciones de operar dentro de ella: ningún juego puede disputarse limpiamente si sus participantes no las conocen todos. Sin embargo, la regulación no sustituye al liderazgo. La ley es, por naturaleza, más lenta que la tecnología que regula, y el simple cumplimiento dice poco sobre si una organización está actuando de forma responsable.

Colombia —donde viví el devastador terremoto de agosto— ofrece un paralelismo instructivo. Los constructores responsables no se limitan a cumplir el código mínimo; sienten el deber de proteger a quienes están dentro cuando tiembla el suelo. La regulación establece el mínimo que la sociedad tolera; el liderazgo decide cuánto más exige el deber. El liderazgo en IA debería someterse al mismo estándar: saber de antemano hasta dónde se extiende el propio deber más allá del mínimo regulatorio.

En la práctica, ese deber se concreta en cuatro responsabilidades de las que deben rendir cuentas los líderes y equipos de IA: saber qué están construyendo, saber cómo se detectarán los errores o usos indebidos, decidir quién tiene autoridad para desconectar el sistema y, sobre todo, garantizar que el negocio siga funcionando si el sistema deja de ser confiable.

La libertad debe seguir al control

Saber cuándo desconectar el sistema depende, a su vez, de saber cuánto margen había para experimentar en primer lugar. La innovación necesita espacio para probar ideas audaces, incluidas ocasionalmente capacidades peligrosas necesarias para construir defensas eficaces. La investigación médica ofrece un paralelismo imperfecto pero instructivo: a veces hay que estudiar un peligro para poder detenerlo. Lo que legitima ese trabajo es la contención, la competencia y la supervisión.

La gestión eficiente ya proporciona una regla sencilla: experimentar libremente cuando el fallo pueda contenerse; regular estrictamente cuando pueda escapar.

Podemos llamarlo libertad proporcional. Las herramientas de productividad de bajo riesgo y los flujos administrativos autocontenidos justifican una intervención ligera. Los sistemas que afectan a las finanzas, la seguridad física, los derechos legales o el acceso a servicios esenciales de las personas no. Deben evaluarse rigurosamente antes de su lanzamiento y supervisarse continuamente después, como ya es habitual en la medicina y otras industrias sensibles. Somos criaturas sociales, y la propia sociedad es un sistema: como cualquier sistema sin restricciones, si se deja sin parámetros de gobierno deriva hacia el desorden; eso es entropía, no política. La historia lo confirma: la libertad sin controles nunca ha producido una libertad justa, sino anarquía en lucha por el poder.

La responsabilidad debe sobrevivir a su lanzamiento

La libertad proporcional, sin embargo, presupone que alguien conserva la capacidad de ajustar las riendas una vez que un sistema sale del laboratorio. Esa suposición no siempre se cumple. Los modelos abiertos y cerrados plantean problemas distintos. Un modelo alojado por su desarrollador puede supervisarse, ajustarse, restringirse o retirarse. Un modelo de código abierto descargable no: una vez lanzado, puede copiarse, modificarse y transmitirse mucho más allá del alcance de su creador.

Al fin y al cabo, ese modelo es un activo digital, y sostengo que la ley debería exigir registros de auditoría que documenten cuándo se copia, modifica y redistribuye. Puesto que ningún desarrollador puede rastrear el código una vez descargado y ejecutado sin conexión o en una infraestructura descentralizada, la expectativa práctica debe recaer en quien lo implemente: cuando las empresas adopten internamente modelos de pesos abiertos, deberán mantener sus propios registros de procedencia, bitácoras de auditoría y controles de acceso, aunque el creador original no pueda hacerlo. Esto no haría responsable al desarrollador original de todo lo que suceda después. Garantizaría que la rendición de cuentas no desaparezca simplemente porque se ha cedido el control.

El principio debería aplicarse por igual a los sistemas abiertos y cerrados una vez que superen umbrales de riesgo definidos. Los desarrolladores y las plataformas de alojamiento deberían conservar registros fiables de la procedencia de un modelo, sus modificaciones sustanciales y las personas autorizadas para distribuirlo. Cuando no pueda mantenerse esa trazabilidad, la carencia debería pesar en contra de la publicación sin restricciones y en contra de quienes sean responsables cuando se produzca un uso indebido.

Las sociedades necesitan normas que les permitan desarrollarse de manera saludable y ordenada, en beneficio de todos. Por tanto, el uso imprudente de estos sistemas debería conllevar sanciones y, cuando el daño a la sociedad sea grave, responsabilidad penal.

Una arquitectura escalonada de la rendición de cuentas

Sin embargo, la procedencia y los registros de auditoría solo funcionan si cada actor de la cadena sabe qué parte del deber le corresponde. La gobernanza de la IA debe distribuir la responsabilidad entre todos los niveles de la sociedad. La rendición de cuentas debería seguir la proximidad, alineando el conocimiento técnico, el mandato político y la autoridad legal para gestionar eficazmente el riesgo en cada nivel.

Licenciar la capacidad, auditar las consecuencias

Estoy de acuerdo en que un régimen único de licencias para todo el ecosistema de la IA sería excesivo. Pero las organizaciones que desarrollen modelos fundacionales por encima de un umbral de riesgo definido deberían ser identificables, estar registradas y estar sujetas a obligaciones exigibles. Ese umbral debería establecerse mediante principios internacionales e incorporarse a la legislación nacional. Las actividades de alto riesgo, como la publicación sin restricciones, deberían requerir un expediente de seguridad documentado y una revisión independiente.

La adopción requiere una herramienta diferente. A mi juicio, las licencias corresponden a la creación de modelos y las auditorías a su uso, con énfasis en el uso con consecuencias. Cualquier implementación con efectos moderados o graves sobre personas, instituciones o infraestructuras debería someterse a auditorías obligatorias, proporcionales al riesgo, tanto antes como durante su funcionamiento.

Instituciones antes que certeza

La incertidumbre suele invocarse como motivo para retrasar la gobernanza. Es mejor entenderla como una razón para diseñarla cuidadosamente. Las previsiones poco fiables desaconsejan normas rígidas que traten la especulación como un hecho. Con la misma fuerza, justifican la creación, antes de que llegue una crisis, de mecanismos de evaluación científica, métodos comunes de prueba, notificación de incidentes y coordinación de emergencias.

La gobernanza no debería ir detrás de la innovación como una investigación va detrás de un accidente. Debería formar parte de la infraestructura que hace sostenible la innovación.

Los regímenes internacionales de no proliferación ofrecen principios útiles, aunque no un modelo que copiar. La IA es informacional, evoluciona rápidamente y resulta trivialmente fácil de copiar. La lección transferible es que las capacidades con consecuencias mundiales y de doble uso necesitan límites compartidos, pruebas independientes, obligaciones diferenciadas y una verificación que no dependa únicamente de la confianza.

Tampoco es necesario que la supervisión estricta sea permanente. La regulación debería relajarse a medida que maduren las instituciones: cuando los organismos independientes aprendan a evaluar sistemas avanzados, los reguladores aprendan a coordinarse, el uso indebido grave pueda detectarse y las normas comunes sean exigibles. La confianza debe ganarse mediante una competencia demostrada, no darse por supuesta porque exista un regulador.

La prueba para los ejecutivos

La misma disciplina de la confianza ganada se aplica dentro de cualquier organización, mucho antes de que los reguladores lo pregunten. Para los consejos de administración y los altos ejecutivos, la prueba no consiste en si un sistema de IA es impresionante ni en si un proveedor avala su seguridad. Consiste en si la organización, mediante su propia revisión independiente, puede responder a cuatro preguntas:

• ¿Entendemos nuestros sistemas de IA y los datos que los alimentan?
• ¿Podemos detectar errores o comportamientos inesperados?
• ¿Podemos reconstruir las decisiones con consecuencias?
• Si el sistema falla o se utiliza indebidamente, ¿podemos recuperarnos?

Los líderes también deben reconocer que desarrollar IA e implementarla son tareas distintas, cada una con riesgos únicos y necesidades propias de salvaguardas. Plantear estas cuatro preguntas en ambas etapas del ciclo de vida es la forma en que la gobernanza sale del debate de la sala de juntas y se convierte en un hábito operativo.

Mis reflexiones finales

Este es un tema complejo y con muchas capas, sin una solución preparada, y mi propia perspectiva es limitada: un consultor solo ve una parte de lo que la IA está haciendo a la sociedad. El objetivo aquí no es dar lecciones, sino ofrecer una perspectiva e invitar a otros a ponerla a prueba. Si contribuye a afinar la conversación sobre una gobernanza de la IA justa y viable, habrá cumplido su cometido.

La gobernanza de la IA no es una lucha entre la esperanza y el miedo: es una cuestión de gestión del riesgo. Debemos medir, comprender y regular los peligros de la IA en relación con nuestra capacidad para contener fallos graves. La innovación debería expandirse solo allí donde puedan acompañarla garantías de seguridad; la rendición de cuentas debe endurecerse a medida que los riesgos se vuelven irreversibles. La gobernanza no necesita predecir el futuro a la perfección. Solo necesita garantizar que, cuando nos equivoquemos, podamos recuperarnos.

Pasar de estos principios de gobierno a la práctica diaria suele ser el paso más difícil, pero es precisamente ahí donde la estrategia se convierte en confianza organizativa.

Referencias

El documento de investigación se basa en materiales públicos de las Naciones Unidas, el OIEA, el Reglamento de IA de la UE, el NIST, OpenAI, Anthropic, Meta y la información pública sobre la gobernanza de la IA de frontera. Las opiniones y los principios propuestos son del autor.