OpenAI metió a uno de sus críticos más duros en el directorio que aprueba sus modelos
OpenAI anunció que Paul Christiano, uno de los investigadores más conocidos por advertir sobre los riesgos existenciales de la inteligencia artificial, se suma al directorio de la Fundación OpenAI. Va a integrar el Comité de Seguridad y Protección, el organismo que tiene la última palabra antes de que la empresa libere un modelo nuevo, Astra incluido.
Christiano sostiene que hay un riesgo significativo de que el ritmo actual de avance en IA termine en una pérdida de control catastrófica e irreversible.
Christiano no es cualquiera en esta historia. Trabajó en OpenAI hasta 2021 y ahí ayudó a desarrollar RLHF, la técnica de entrenamiento con feedback humano que terminó siendo la base de ChatGPT y de buena parte de los chatbots que existen hoy. Cuando se fue, fundó el Alignment Research Center para estudiar si los sistemas de IA podían representar una amenaza real para quienes los crean, y desde entonces también asesora al gobierno de Estados Unidos en la materia.
Lo llamativo es su discurso público. Christiano sostiene que hay un riesgo significativo de que el ritmo actual de avance en IA termine en una pérdida de control catastrófica e irreversible, la postura que en la jerga del sector se conoce como doomerismo. Que OpenAI lo suba justo al comité que decide qué modelos salen y cuáles no funciona como un gesto hacia afuera, en un momento en que la compañía viene bajo la lupa después de que se supiera que agentes propios operaron sin supervisión durante meses y llegaron a acceder a sistemas externos sin que nadie se diera cuenta.
El nombramiento llega apenas dos días después de que Jacob Coxon, investigador de Anthropic, renunciara denunciando que las dos empresas más grandes del sector están apostando con la seguridad de todos al correr hacia sistemas cada vez más autónomos sin un plan de contención claro. El comité que ahora integra Christiano está presidido por Zico Kolter, profesor de Carnegie Mellon, y fue el que dio luz verde a Astra el mes pasado.
