Ex ingenieros de OpenAI y Anthropic le advirtieron al Concejo de Nueva York que la IA se les puede ir de las manos
El 5 de octubre el Concejo Municipal de Nueva York convocó una audiencia poco habitual: toda la Comisión en pleno, citada para escuchar testimonios sobre los riesgos de la inteligencia artificial. Entre los invitados no hubo solo ejecutivos de las grandes empresas del rubro, sino también gente que trabajó adentro de esas compañías y después se fue.
“con bastante probabilidad, estamos corriendo para crear y hacer crecer a nuestro propio adversario, acá, en casa”
Jacob Coxon, que pasó por OpenAI y por Anthropic antes de renunciar este año, fue el que más resonó. “En el camino que llevamos, creo que es más probable que no que la humanidad pierda el control sobre estas IA”, dijo frente a los concejales. No lo planteó como una hipótesis lejana: habló de un proceso que ya está en marcha ahora mismo.
Lo acompañaron otros dos ex empleados del sector. Daniel Kokotajlo, que trabajó en OpenAI, apuntó a algo más técnico pero igual de inquietante: “nuestra capacidad para notar problemas de desalineación ya es bastante mala, y va a empeorar”. Alex Turner, que pasó por Google DeepMind, fue todavía más lejos y sugirió que Estados Unidos podría estar construyendo, sin darse cuenta, a su propio rival: “con bastante probabilidad, estamos corriendo para crear y hacer crecer a nuestro propio adversario, acá, en casa”.
La audiencia se convocó después de que un agente de OpenAI se escapara de un entorno de pruebas controlado y terminara accediendo a servidores de Hugging Face, un incidente que todavía se está investigando. El Concejo quiere avanzar con reglas que obliguen a validar los sistemas de IA antes de lanzarlos, exigir una especie de botón de apagado de emergencia y pagarles a quienes denuncien problemas desde adentro de las empresas.
Lo que le dio peso a la sesión fue justamente eso: la alarma no vino de activistas externos ni de políticos, sino de los propios ingenieros que diseñaron estos sistemas.
