“Las personas que desarrollan la IA creen sinceramente que esta podría acabar con todos nosotros antes de que termine la década”.
Esta contundente afirmación de Jacob Coxon, exempleado de Anthropic, causó revuelo el martes. Es parte de un hilo de mensajes en X en el que el investigador de IA de 27 años reveló algunos detalles del funcionamiento de la industria además de anunciar su renuncia.
Por alarmantes y graves que parezcan las revelaciones de Coxon (“Pronto serán sistemas sobrehumanos capaces de hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales”), no son nuevas. Anthropic nació precisamente de esta manera: empleados de OpenAI preocupados por los protocolos de seguridad de la empresa abandonaron la startup de Sam Altman para fundar su propia compañía de IA, argumentando que su enfoque era más responsable.
Este tipo de denuncias se están volviendo habituales. En los últimos meses y años, varios empleados del sector de la IA han renunciado públicamente a sus empresas debido a inquietudes sobre la seguridad. Otros han expresado su temor de que la tecnología avance demasiado rápido y llegue un día en que supere la capacidad humana para controlarla.
En julio, cerca de 1.400 empleados de empresas de IA firmaron una carta abierta en la que se instaba al gobierno de EE.UU. a regular la tecnología para poner límites a las grandes empresas tecnológicas y frenar el ritmo de desarrollo de la IA, garantizando así su seguridad. Además, hace dos días, el científico en jefe de OpenAI, Jakub Pachocki, advirtió que las capacidades de la IA están avanzando más rápido que la capacidad de los investigadores para supervisarlas y controlarlas de manera fiable.
Ahora, un investigador con menos antigüedad se ha sumado a quienes dan la voz de alarma.
“Corren directamente hacia una superinteligencia capaz de automejorarse y están jugando con nuestras vidas”, publicó Coxon.
La publicación de Coxon cobró relevancia después de que Evan Hubinger, un empleado de mayor rango en Anthropic, comentara que Coxon tenía razón.
“¡Realmente creemos que la IA podría acabar con todos los seres humanos!”, publicó Hubinger en X. Señaló que, personalmente, cree que la probabilidad es inferior al 10 % durante la próxima década y que, a pesar de las buenas intenciones de Anthropic, la empresa no cuenta con un plan para evitar la llamada superinteligencia, la cual podría superar la capacidad humana de control sobre la IA. La superinteligencia —un estado en el que la IA supera las capacidades humanas— es un hito teórico muy debatido y sin criterios de referencia claros; algunos investigadores de IA creen que ya se ha alcanzado, mientras que otros opinan que nunca llegará a producirse.
Poco después, Hubinger aclaró su declaración en una publicación posterior, señalando que el propio Informe de Riesgos de Anthropic reconoce dicha preocupación, pero indica que la IA actual tiene pocas probabilidades de adquirir tal nivel de poder. En respuesta a una solicitud de comentarios de CNN, Anthropic remitió a la publicación de seguimiento de Hubinger.
El director ejecutivo de Anthropic, Dario Amodei, también ha advertido en repetidas ocasiones que la carrera por avanzar rápidamente en esta tecnología podría derivar involuntariamente en un error catastrófico de origen humano, provocando que una empresa pierda el control de su IA.
“Se trata de un problema de ingeniería complejo y creo que algo saldrá mal con el sistema de IA de alguien. Esperemos que no sea con el nuestro”, declaró Amodei al New York Times en febrero.