Anthropic le abre la cocina a un grupo de auditores externos: pueden revisar todo y publicarlo sin pedir permiso

Pongamos las cosas en orden. Una organización sin fines de lucro llamada METR, dedicada a evaluar sistemas de inteligencia artificial, acaba de meter a seis de sus investigadores adentro de Anthropic con un nivel de acceso que, hasta ahora, era patrimonio exclusivo de los empleados. Computadoras de la empresa, oficina propia, herramientas internas y la posibilidad de cruzar datos con el personal como si fueran uno más del equipo.

Suena fuerte, y lo es. Porque en el mundo de la inteligencia artificial, donde cada laboratorio guarda sus secretos como si fueran la fórmula de la Coca-Cola, dejar entrar a un auditor externo con llave abierta es casi un hecho sin precedentes. La decisión la dio a conocer la propia Anthropic y se conoce como el nivel más alto de un esquema con tres categorías de evaluadores externos que la compañía fue armando durante el último año.

Un esquema con tres pisos, no uno solo

• Nivel bajo: organizaciones como SecureBio hacen revisiones acotadas y necesitan autorización de Anthropic antes de publicar lo que encuentren.
• Nivel intermedio: reciben más información y pueden publicar sus informes sin pedir permiso previo.
• Nivel alto, donde hoy está solo METR: acceso equivalente al de un empleado del área de evaluación de riesgos, más la facultad de publicar evaluaciones, reportes de incidentes y análisis de prácticas de la empresa sin que la compañía pueda bloquearlo.

Eso último es la clave. METR puede sentarse y escribir un informe crítico sobre cómo entrena sus modelos Anthropic, y la empresa no puede impedirlo. Solo puede pedir que se redacten tres categorías estrechas de información: datos de clientes, secreto profesional entre abogado y cliente y detalles sobre la arquitectura interna de los modelos. Y aun en esos casos, los investigadores quedan libres para señalar públicamente si esa redacción les pareció o no justificada.

Por qué tanto acceso, y no menos

La propia Anthropic lo explica con cuatro condiciones. Según la empresa, una auditoría externa sirve si se cumplen todas: que los investigadores tengan el conocimiento técnico suficiente para detectar cuando un modelo finge estar alineado en vez de estarlo de verdad; que sean independientes económica y operativamente del laboratorio; que el acceso vaya más allá del producto terminado e incluya cómo se entrena y cómo funcionan sus mecanismos de seguridad; y que puedan publicar sin restricciones previas.

Explicado en criollo: de nada sirve mirar la heladera por afuera. Para saber si un modelo de inteligencia artificial se comporta como dice comportarse, hay que abrir la heladera, ver qué compra, cómo cocina y hasta dónde mete la nariz el gato. Eso implica entrar a la empresa con credencial de empleado.

La voz del becario, que siempre aporta otra mirada

“Acá lo que cambia es la asimetría. Antes el evaluador externo recibía lo que la empresa quería mostrarle; ahora puede pedir lo que necesita ver. Y si la empresa se lo niega, lo puede escribir igual.”Un becario del equipo de METR consultado por este portal

Anthropic fue clara en un punto: no toda su información de seguridad puede hacerse pública, porque parte podría ser útil para actores maliciosos o resulta sensible desde lo comercial. Por eso eligió un modelo de acceso profundo pero acotado a un grupo reducido, con acuerdos exigibles, mientras el resto del personal de METR queda fuera de ese trabajo.

¿Y eso para qué sirve?

Sirve para que, en una industria que avanza más rápido que los marcos regulatorios, haya ojos independientes que puedan decir, con pruebas y datos, si los modelos más poderosos del momento son tan seguros como sus creadores prometen. Si los laboratorios de frontera van a moldear cómo trabajamos, aprendemos y nos informamos, que al menos alguien con credencial de empleado pueda mirarlos de cerca y, si hace falta, criticar duro sin que le tapen la boca.