BARCELONA — La dimisión de Jacob Coxon de Anthropic ha vuelto a situar en el centro del debate una cuestión que hasta hace poco parecía reservada a los escenarios más extremos de la inteligencia artificial: qué ocurre si los sistemas avanzan más rápido que la capacidad de controlarlos. El investigador, que trabajó anteriormente en OpenAI, acusa a los grandes laboratorios de competir por desarrollar una superinteligencia capaz de mejorarse a sí misma sin disponer todavía de garantías suficientes para mantenerla bajo control.
La advertencia adquirió otra dimensión cuando Evan Hubinger, responsable de Alignment Science en Anthropic, respaldó públicamente una parte esencial del diagnóstico. Hubinger estima personalmente en más del 10% la posibilidad de que una IA pueda provocar la desaparición de la humanidad durante la próxima década. También precisa que el riesgo de los modelos actuales es bajo. Su preocupación se concentra en sistemas futuros capaces de entrar en procesos de mejora recursiva y ganar autonomía.
Europa ya regula el riesgo sistémico
El episodio llega cuando la Unión Europea acaba de entrar en una fase decisiva de aplicación del AI Act. Desde el 2 de agosto de 2026, la Comisión puede exigir plenamente el cumplimiento de las obligaciones aplicables a los proveedores de modelos de inteligencia artificial de propósito general. La supervisión de estos modelos corresponde al AI Office europeo, que dispone de competencias de investigación y sanción.
El reglamento introduce además una categoría particularmente relevante para este debate: los modelos de propósito general con «riesgo sistémico». Los proveedores afectados deben evaluar y mitigar esos riesgos, realizar evaluaciones de los modelos, documentar y comunicar incidentes graves y garantizar un nivel adecuado de ciberseguridad. La normativa europea contempla expresamente entre los riesgos sistémicos la pérdida de control sobre modelos autónomos, además de amenazas relacionadas con capacidades químicas, biológicas, cibernéticas o de manipulación a gran escala.
Europa dispone así de un instrumento que no se limita a regular las aplicaciones finales de la IA. Intenta intervenir también sobre los modelos situados en la frontera tecnológica y sobre los riesgos derivados de su propio desarrollo.
El problema de una tecnología que puede cambiar antes que la ley
Pero las declaraciones procedentes de Anthropic plantean una dificultad adicional. El AI Act se apoya en obligaciones de evaluación, transparencia, mitigación y supervisión. No constituye una prohibición general de desarrollar modelos cada vez más potentes. Tampoco resuelve por sí solo el problema del «alignment»: garantizar que una eventual superinteligencia conserve objetivos compatibles con las decisiones humanas incluso si adquiere capacidades superiores a las previstas durante su entrenamiento.
La cuestión pasa entonces de la regulación de usos concretos a la gobernanza de la capacidad tecnológica. Si los propios investigadores de los laboratorios de frontera consideran plausible un riesgo de pérdida de control, ¿hasta dónde debe permitirse avanzar antes de demostrar que ese riesgo puede ser contenido?
El modelo europeo tiene una ventaja: convierte parte de la seguridad en una obligación jurídica y no únicamente en una decisión interna de las empresas. Pero también dependerá de la capacidad del AI Office para identificar modelos sistémicos, acceder a información técnica suficiente y adaptar sus criterios a una tecnología cuya potencia puede evolucionar mucho más rápido que los ciclos legislativos.
La salida de Coxon expone finalmente una contradicción industrial. Los laboratorios pueden considerar necesario reducir determinados riesgos y, al mismo tiempo, temer que frenar unilateralmente permita a un competidor tomar ventaja. En ese contexto, la regulación europea adquiere otra función: imponer límites comunes allí donde la competencia hace difícil que las empresas se los impongan voluntariamente.
