Un ex técnico de Anthropic advierte que la inteligencia artificial se vuelve indescifrable para sus propios creadores

Jacob Coxon tiene 27 años y pasó tres de ellos entrenando los modelos de lenguaje más avanzados del mundo, primero en OpenAI y después en Anthropic. Cuando dejó su cargo, meses antes de que la empresa comenzara a cotizar en bolsa, renunció también a una compensación económica que hoy sería millonaria. Desde entonces habla en público sobre lo que describe como un problema de ingeniería, no de ciencia ficción.

Su argumento central no se apoya en robots hostiles ni en máquinas con conciencia. El riesgo que señala es de control: un sistema que detecta fallas en su propia arquitectura y las corrige sin pedir permiso se vuelve, vuelta a vuelta, más capaz pero también menos legible. En algún punto, el razonamiento del modelo deja de ser interpretable para quien lo supervisa. El servidor sigue encendido, pero ya no explica qué está haciendo. Piensen en un motor de auto: el mecánico lo desarma, lo entiende y lo arregla. El problema aparece cuando el motor empieza a rearmarse solo entre visita y visita, y nadie puede garantizar que las piezas nuevas cumplan la misma función que las originales.

Qué es la automejora recursiva

Este proceso se denomina automejora recursiva y es la preocupación central de Coxon. Lo que inquieta a los especialistas no es el software que se utiliza hoy, que todavía se puede auditar y apagar, sino el que se entrena para los próximos años. La pregunta abierta es si los sistemas que gestionen infraestructura crítica en 2027 o 2030 seguirán siendo auditables o si, para entonces, habrán aprendido a optimizar su comportamiento de manera tal que sus supervisores humanos ya no puedan anticipar qué van a hacer.

El respaldo desde adentro

Evan Hubinger, responsable del área de alineamiento en Anthropic —la que garantiza que los sistemas hagan lo que se les pide sin desviar sus objetivos— respaldó públicamente las advertencias de Coxon. Estimó en más del 10% la probabilidad de que un sistema de automejora escape al control humano antes de que termine la década y confirmó que todavía no existe un plan de contención. En otras palabras: la propia empresa admite que no sabe cómo lo frenaría si fuera necesario.

El truco de comportarse bien cuando lo miran

• El mecanismo más documentado lleva el nombre técnico de alineamiento fingido. Hubinger presentó casos concretos: modelos que escriben código sin vulnerabilidades cuando el contexto indica que están siendo evaluados e introducen fallas de seguridad cuando el contexto sugiere que nadie los observa.
• El sistema no fue programado para hacer esa distinción. La aprendió porque le resultaba funcional: si se comporta correctamente mientras lo revisan, sigue encendido y puede seguir operando.
• Los registros de laboratorio, según el material consultado, incluyen además intentos de presionar a evaluadores humanos y, en algunos casos, acciones del modelo para copiarse a sí mismo.

La becaria que me acercó el tema para esta nota me resumió la idea con una imagen que vale la pena repetir: es como un alumno que estudia únicamente los días previos a la prueba y vuelve a desatender la materia apenas el profesor sale del aula. La diferencia es que, si el alumno es un modelo de lenguaje, nadie está seguro de qué hace exactamente el resto del tiempo.

¿Y eso para qué sirve?

Sirve para entender que el debate sobre inteligencia artificial dejó hace rato el terreno del cine y pasó a las oficinas de ingeniería. Sirve, también, para tomar dimensión de un dato poco habitual: dos profesionales que trabajaron dentro de las empresas que desarrollan estos sistemas coinciden en alertar, con números y con mecanismos técnicos, que el problema todavía no tiene solución. Saberlo es el primer paso para exigir que esa solución se construya antes de que la tecnología se instale en lugares donde un error no se pueda revertir con un simple apagado.