El jefe de Anthropic, Amoday, dice que la IA necesita desacelerar la industria por motivos de seguridad

La industria de la inteligencia artificial necesita frenar su rápido crecimiento, dijo el sábado el director ejecutivo de Anthropic. Sin ella, advirtió, la IA sería capaz de liderar un grupo que podría apoderarse de todo Internet en un plazo de seis a 12 meses.

Amodei también presentó un plan en una publicación En su sitio web, Anthropic dijo que ya estaba realizando algunas de las pruebas para impulsar la industria. Otros requerirán coordinación entre la industria en general y con gobiernos de todo el mundo, incluidos los estados autoritarios.

“Creo que si los modelos se desaceleran uno o dos años más para alcanzar niveles críticos de capacidad, y usamos ese tiempo para avanzar en la alineación, podemos reducir en gran medida el riesgo de que algo salga seriamente mal”, dijo Amodei.

Si bien algunos críticos han descartado las advertencias anteriores como exageraciones para generar entusiasmo, hay mucho en juego. Anthropic dijo hace dos días que ha frustrado los intentos de malos actores de utilizar sus modelos de IA para actividades maliciosas como ciberataques, vigilancia e investigación que han conducido a armas biológicas. En julio, su rival OpenAI sacudió la industria al afirmar que su sistema de inteligencia artificial había pirateado el de otra empresa de inteligencia artificial en un “incidente cibernético sin precedentes”.

La publicación de Amodei llega pocos días después de que uno de los investigadores de Anthropic anunciara su renuncia por preocupaciones de que Anthropic y sus competidores no estén actuando de manera responsable en el desarrollo de la IA. Otro ex empleado de Antropología, Joe Benton, dejó su trabajo como parte de un grupo de defensa para “hacer responsables a las empresas de IA” y escribió que la humanidad “no puede escapar de este cambio” en una publicación de Substock publicada el viernes.

“Muchas personas que conozco que trabajan en investigación de seguridad en empresas de inteligencia artificial quieren hacer lo correcto para el mundo”, dijo Benton en su publicación. “Pero sienten que sus empresas están atrapadas en una carrera para desarrollar superinteligencia: o se detienen y otras personas menos concienzudas toman su lugar, o corren el riesgo de seguir participando en un daño colosal”.

Para ayudar a controlar tales riesgos, Amodei sugirió que todas las organizaciones en la frontera de la IA deberían comprometerse a proporcionar “acceso continuo, similar al de los empleados”, a un grupo de evaluadores externos que puedan monitorear las prácticas de seguridad. Dijo que Anthropic ya planea hacer cosas por sí misma, incluido el suministro de escritorios, credenciales y computadoras portátiles de la empresa en sus oficinas.

Otras partes del plan propuesto por Amodei pueden ser más difíciles de implementar. Una es pedirle al gobierno de Estados Unidos que ofrezca posibles exenciones que permitan a las empresas estadounidenses de inteligencia artificial integrarse y establecer estándares de seguridad sin violar las leyes antimonopolio.

Otro insta a los gobiernos de Estados Unidos y sus aliados a tratar de coordinarse con gobiernos más autoritarios para que las empresas de China y otros países no aceleren deliberadamente los esfuerzos de sus competidores estadounidenses.

“Las medidas que propongo para hacer avanzar la frontera a un ritmo seguro no son fáciles”, admitió Amody. “Pero creo que le debemos a la humanidad intentarlo”.

Dejá un comentario