Anthropic le da a METR un acceso casi de empleado para auditar sus modelos de IA

Seis investigadores de METR, una organización sin fines de lucro especializada en evaluar sistemas de inteligencia artificial, trabajan desde adentro de Anthropic con un nivel de acceso equivalente al de un empleado del área de evaluación de riesgos. Recibieron computadoras de la empresa, espacio físico en sus oficinas y herramientas internas, y pueden conversar con el personal como cualquier colega.

Eso los ubica en el escalón más alto de un esquema de tres categorías de auditores externos que la compañía construyó durante el último año. En el nivel más bajo trabajan organizaciones como SecureBio, que hacen revisiones acotadas y necesitan autorización de Anthropic antes de publicar. El nivel intermedio recibe más información y puede difundir sus reportes sin pedir permiso. METR, por ahora la única en el techo de la pirámide, suma además la potestad de publicar evaluaciones, reportes de incidentes y análisis de prácticas sin que la empresa pueda bloquear la publicación.

Tres fronteras que la empresa sí puede pedir callar

• Datos de clientes.
• Información cubierta por secreto profesional entre abogado y cliente.
• Detalles sobre la arquitectura de los modelos.

Anthropic sí puede pedir que se redacten estos puntos sensibles, pero METR queda libre de señalar públicamente si le parece que esa redacción estaba o no justificada. Ojo con esto: la compañía reconoció que no puede hacer pública toda su información de seguridad, porque parte podría ser útil para actores maliciosos o es sensible desde lo comercial. Por eso eligió un acceso profundo con un grupo acotado, con acuerdos exigibles, mientras el resto del personal de METR queda aislado de ese trabajo.

Cuatro condiciones para que la auditoría sirva

La empresa justificó tanto acceso enumerando cuatro requisitos que, a su criterio, debe cumplir cualquier auditoría útil: experiencia técnica suficiente para detectar cuándo un modelo finge estar alineado en lugar de estarlo realmente; independencia económica y operativa respecto de la compañía auditada; acceso que vaya más allá de los modelos e incluya cómo se entrenaron y cómo funcionan sus mecanismos de seguridad; y libertad para publicar sin restricciones previas.

El equipo de METR ya había revisado varios informes de riesgo durante el año anterior a recibir este nivel ampliado. Yo lo probaría: es una movida concreta para que la auditoría no quede en un PowerPoint. Si vale la pena, va a depender de cuántos hallazgos terminen viendo la luz sin que la empresa los filtre primero.