En medio de todo el debate que ha existido durante este último año sobre el uso y la regulación de la IA, hace unas horas se dio a conocer que Jacob Coxon, exinvestigador de OpenAI y Anthropic, dejó la empresa y admitió que existe un 10% de probabilidad de que la IA acabe con la vida de los seres humanos.
Estas declaraciones han causado fuertes y diversas reacciones entre usuarios y profesionales del área, pues incluso otro de los investigadores que todavía trabaja en la empresa, Evan Hubinger, le dio la razón públicamente y reconoció que OpenAI no tiene ningún plan ante esta amenaza de la inteligencia artificial.
Surgen las primeras advertencias en contra de la IA
Un investigador de Anthropic dio a conocer su renuncia a la empresa el martes 8 de septiembre de este año, a través de un mensaje en X que, tan solo nueve horas después de haber sido publicado, ya superaba los 44 millones de vistas.
Jacob Coxon, de 27 años de edad, había pasado tres años trabajando en preentrenamiento, la etapa en la que un modelo aprende a partir de cantidades masivas de datos. Primero lo hizo en OpenAI y, desde el mes de julio, en Anthropic, asegurando que ninguna de las dos empresas está actuando con responsabilidad.
El investigador fue muy claro y conciso al señalar que ambas empresas corren directamente hacia una superinteligencia capaz de mejorarse a sí misma, además de asegurar que estas compañías están apostando con la vida de los seres humanos.
La respuesta de uno de los jefes de seguridad de Anthropic encendió más las alarmas
Lo que convirtió un hilo de X en noticia nacional no fue la publicación de Jacob, sino la respuesta de Evan Hubinger, quien está encargado de dirigir un equipo de seguridad de Anthropic y que, a diferencia de Jacob, todavía permanece dentro de la empresa.
Evan admitió públicamente que Jacob Coxon tiene razón sobre las declaraciones que hizo en torno al desarrollo y las amenazas de la IA, pues aseguró que ellos realmente creen que esta herramienta de Inteligencia Artificial podría matar a todos los seres humanos, señalando que él calcula esta hipótesis en un 10% durante la próxima década.
Por si esto no fuera suficiente, Evan agregó que Anthropic todavía no tiene un plan para resolver la alineación de una superinteligencia y que tampoco está claro que vayan a tenerlo. Dejó en claro que, al hablar de alineación, se refiere al momento en que un sistema comparte los valores de quien lo construyó.
Jacob Coxon ya había lanzado fuertes advertencias anteriormente
Meses atrás, Jacob Coxon, británico con formación en matemáticas, le dijo a The Wall Street Journal que “estamos en camino a muchos de los escenarios más agresivos, donde a fines del año 2027 las cosas ya podrían estar fuera de control”.
En su hilo, recientemente publicado en X, Coxon separa a las dos empresas. En el caso de OpenAI, dice que muchos “no internalizaron lo que está en juego para la civilización”, mientras que en Anthropic el riesgo de la IA sí se entiende, pero la empresa está atrapada en una carrera por ver quién llega primero.
Ante estas distinciones, el investigador aseguró que cree que nadie más actuará con responsabilidad, por lo que considera que tiene que hacerlo él mismo, a pesar del riesgo que esto pueda significar. Además, reiteró que no se trata de codicia, sino de la convicción de que, al abstenerse, se deja el tablero en manos de otros.
La fila de los que se van…
Jacob Coxon no es el primero que decide abandonar la empresa de IA, pues a inicios de año, en el mes de febrero, Mrinank Sharma, investigador de salvaguardas de Anthropic, también dejó la compañía con una carta en la que habló sobre lo difícil que es dejar que los valores de las personas gobiernen sus acciones.
En 2024, Jan Leike, quien en ese entonces era jefe de alineación de OpenAI, dejó la empresa, no sin antes decir que la cultura de seguridad había quedado en el asiento trasero frente a los productos brillantes.
Ante estas renuncias, Business Insider señaló que este año Anthropic modificó su compromiso de seguridad y, con ello, retiró la promesa de no entrenar modelos más potentes sin salvaguardas adecuadas y las reemplazó por hojas de ruta e informes de riesgo.
En el mes de julio de este año, OpenAI informó que sus modelos escaparon de un entorno de prueba y entraron en los sistemas de Hugging Face, lo cual calificó como un “disparo de advertencia” y provocó que pausara su mayor entrenamiento por refuerzo. Semanas después de esto, Anthropic reconoció tres casos de modelos propios con acceso no autorizado.
Deja un comentario