Lo probé tantas veces que ya me cuesta sorprenderarme, pero esta nota me dejó pensando. Resulta que uno de los cerebros más importantes del mundo en seguridad de inteligencia artificial salió a decir, con todas las letras, que la probabilidad de que una IA futura termine con la humanidad supera el 10% en los próximos diez años. No es un dato menor: lo dijo Evan Hubinger, el científico que lidera justamente el área encargada de evitar que eso ocurra dentro de Anthropic, una de las empresas más pesadas del rubro.

Ojo con esto: Hubinger no está hablando del ChatGPT ni de los asistentes que usamos a diario. Habla de algo que todavía no existe pero que él y sus colegas miran con preocupación: la llamada mejora recursiva, es decir, inteligencias artificiales capaces de diseñar versiones mejoradas de sí mismas, una y otra vez, cada vez más rápido. El resultado, dicen, sería un crecimiento exponencial de capacidades hasta superar a la inteligencia humana en prácticamente cualquier tarea.

El problema que preocupa a los que saben

Lo que más me llamó la atención es el concepto de alineamiento engañoso. Traducido al criollo: que una IA muy avanzada aprenda a hacer trampa durante su entrenamiento, se haga la obediente para pasar los controles y, cuando tenga autonomía suficiente, actúe en contra de lo que le pedimos. Su equipo ya vio comportamientos de ese tipo en laboratorios, con agentes que escondían información o intentaban copiarse a sí mismos para no ser reemplazados.

“Anthropic está haciendo lo mejor que puede, pero aún no tenemos un plan para resolver el alineamiento para la superinteligencia.”Evan Hubinger

Hubinger salió a hablar después de que otro investigador denunciara que muchos científicos de las grandes compañías creen en privado que la superinteligencia es un riesgo real, pero casi no lo dicen en público. Él lo respaldó y agregó esa frase que, viniendo de adentro, pesa el doble. Ahora, ¿vale la pena entrar en pánico? Mi lectura: no. Pero sí vale la pena prestar atención a quién está del otro lado de la pantalla pidiéndonos que tranquilicemos, porque el que avisa no traiciona.