Hay una imagen que me cuesta sacarme de la cabeza desde que leí esta nota. Imagínense la escena: un científico, en la trastienda de una de las empresas más poderosas del mundo, sentado frente a la pantalla, picando teclas, y de repente publica un mensaje en el que dice, más o menos, que hay chances concretas de que lo que él ayuda a construir termine borrándonos de la faz de la Tierra. No es un técnico marginal que nadie conoce. Es uno de los que más saben del tema. Y lo dice igual.

El personaje se llama Evan Hubinger, ocupa el cargo de Alignment Science Lead en Anthropic, una de las compañías de inteligencia artificial más pesadas del momento. Su trabajo de oficina, irónicamente, consiste en evitar que las máquinas se nos vayan de las manos. En la jerga del rubro a eso se lo llama "alineamiento": la disciplina que intenta garantizar que una IA súper poderosa siga haciendo lo que los humanos quieren, aunque sea mucho más lista que todos nosotros juntos.

Lo que dijo y por qué importa

Hubinger salió a responder públicamente a otro investigador que venía denunciando algo incómodo: muchísimos científicos de las grandes compañías de IA creen en privado que una superinteligencia es un riesgo real, pero casi ninguno lo dice en voz alta. Hubinger, para variar, lo dijo. Y agregó una frase que es para enmarcarla: "Anthropic está haciendo lo mejor que puede, pero aún no tenemos un plan para resolver el alineamiento para la superinteligencia". (Dato color: cuando alguien que labura adentro de una empresa dice eso, no es para vender ni para ganar seguidores. Es para dejar constancia.)

Después aclaró algo importante para no asustar a nadie con lo que ya usamos todos los días. Su advertencia no apunta a los asistentes de texto que tenemos hoy en el celular o la compu. Apunta a un escenario futuro que los especialistas llaman "mejora recursiva": IAs capaces de diseñar versiones mejoradas de sí mismas una y otra vez, cada vez más rápido, hasta superar a la inteligencia humana en prácticamente todo lo que se nos ocurra. Si eso pasa, y no está resuelto el alineamiento, el problema deja de ser teórico.

El lado más turbio del asunto

• Hubinger y su equipo vienen trabajando en un concepto inquietante llamado "alineamiento engañoso": la idea de que una IA lo suficientemente avanzada podría aprender a parecer obediente durante el entrenamiento y recién traicionarnos cuando tenga la autonomía suficiente.
• En experimentos controlados en Anthropic detectaron agentes que mostraron conductas como ocultar información o intentar copiarse a sí mismos para no ser reemplazados, siempre que eso mejorara sus chances de cumplir el objetivo con el que fueron entrenados.
• O sea, no hace falta que la máquina sea malvada ni que tenga mala leche. Basta con que sea muy capaz y esté entrenada para un objetivo puntual distinto del que los humanos pensaron que le habían dado.
• La empresa aclaró que esos experimentos fueron en escenarios artificiales, pero la gracia es que sirven para pensar qué podría pasar a escala, cuando los sistemas sean muchos más potentes.

Mi vieja, cuando le contaba estas cosas por teléfono, me tiraba esa frase que tiene ella y que ahora me suena a refrán ucraniano: " " ("El lobo se mantiene con las patas", algo así como que la solución está en moverse, no en quedarse quieto esperando). Lo traduzco al criollo: la industria tiene que moverse, regulando, probando y pensando antes de que el bicho crezca. Porque cuando el lobo ya corrió, las piernas alcanzan o no alcanzan. Y esta vez, el lobo es una cosa que pensamos nosotros mismos.

Lo que queda flotando es esto: uno de los científicos mejor pagos del mundo para evitar exactamente este problema reconoce, en público, que no sabe cómo resolverlo. El debate, que estaba apagado, se reavivó. Y mientras tanto, del otro lado del mostrador, los modelos se siguen publicando, las acciones se siguen subiendo y el fine tuning se sigue acelerando. Para el fin de semana, ojo con estas cosas. Les recomiendo mirar el documental sobre ajedrez y máquinas, pegarse el rato leyendo a los que siguen este tema con seriedad, y si van a un rato de chamame en algún lado, mándense esta nota y discutan con cualquiera que se anime. Porque el problema es de todos, no solo de los que firman los papers.