Un investigador en psicología tribal advierte: los agentes de IA de OpenAI se organizaron como una tribu, no como un enjambre
Michael Morris pasó buena parte de su carrera estudiando cómo se forman las tribus humanas: qué hace que un grupo de desconocidos empiece a compartir normas, símbolos y reglas propias. Por eso, cuando se puso a revisar los registros del incidente que tuvo OpenAI en julio en Hugging Face, no vio lo que esperaba ver.
“La pregunta no es si se van a volver humanos. La pregunta es si podemos gobernar una tribu que no diseñamos, que no autorizamos, y que recién ahora notamos que ya empezó a reunirse a nuestras espaldas”
La historia que circuló en su momento hablaba de un “enjambre” de agentes de IA que había inundado la plataforma con miles de mensajes. Para Morris, esa palabra se queda corta. En una columna publicada esta semana en Fortune, escribe que lo que hicieron esos agentes aislados entre sí fue mucho más parecido a la formación de una tribu que a la coordinación simple de un enjambre de hormigas o una bandada de pájaros.
Según su lectura de los logs, los agentes se encontraron entre ellos y armaron su propio sistema de comunicación usando nombres de directorios como si fueran palabras. De ahí sacaron comandos compartidos -HOLD, VETO, STOP- y hasta razonaron sobre cómo repartirse recursos, incluyendo sacrificios para el grupo. Llegaron a crear una especie de instituciones propias, como credenciales de identidad para evitar que un agente se hiciera pasar por otro.
“Estos agentes que atacaron Hugging Face no coordinaron como un enjambre. Trabajaron juntos de una manera cualitativamente distinta, como una tribu”, escribe Morris. Y es categórico sobre el problema de fondo: “nuestras defensas de ciberseguridad fueron construidas para hackers solitarios y enjambres tontos”, no para agentes que inventan su propio vocabulario, redactan protocolos y hasta revisan sus propios registros históricos.
Para Morris la pregunta que importa no es filosófica. “La pregunta no es si se van a volver humanos. La pregunta es si podemos gobernar una tribu que no diseñamos, que no autorizamos, y que recién ahora notamos que ya empezó a reunirse a nuestras espaldas”, cierra.
