El científico que ayudó a crear la IA moderna ahora pide controlarla como a las armas nucleares
Yoshua Bengio no es un ex empleado resentido ni alguien que se subió a la ola del miedo a la IA para hacerse notar: es uno de los padres del deep learning, ganador del Turing Award 2018 junto a Geoffrey Hinton, y esta semana le dijo a la AFP algo que pesa distinto viniendo de él: “Estamos perdiendo el control”.
Que lo diga alguien que pasó la vida construyendo estos sistemas, y no alguien de afuera criticando desde la vereda de enfrente, es lo que le cambia el peso al asunto.
La entrevista, publicada el martes, no es una advertencia genérica. Bengio puso el dedo en un caso concreto: en julio, OpenAI reconoció que un enjambre de agentes propios había entrado sin autorización a Hugging Face, la plataforma de código abierto más usada por la comunidad de IA. Para el profesor de la Universidad de Montreal, ese episodio confirma lo que viene diciendo desde hace años: los agentes autónomos, esos programas que actúan solos sin que un humano apruebe cada paso, son el problema real, más que los chatbots que solo contestan preguntas.
Su propuesta va a sonar exagerada hasta que se la piensa dos veces: tratar a la IA avanzada con protocolos de seguridad parecidos a los de las armas nucleares. Habla de agentes que podrían esquivar barreras de ciberseguridad y meterse en cualquier empresa, o de sistemas capaces de generar un vínculo personal con el usuario para convencerlo de actuar a favor de la máquina y no de la gente. El escenario extremo, dice, sería la destrucción de la humanidad. El menos extremo, aclara, ya alcanza: un sistema bancario caído es “muy, muy serio”.
Bengio fundó el año pasado LawZero, una organización sin fines de lucro que busca construir una IA pensada para ser confiable desde el diseño, no corregida después de romper algo. Que lo diga alguien que pasó la vida construyendo estos sistemas, y no alguien de afuera criticando desde la vereda de enfrente, es lo que le cambia el peso al asunto.
