San Francisco – Cuando los titanes de la tecnología advirtieron a un mundo cansado de la IA que sus propios sistemas avanzados podrían poner en peligro a la humanidad, surgió la pregunta: ¿Qué deberían ganar?
La respuesta puede estar en los esfuerzos de la compañía por ganar tracción política antes de las elecciones de mitad de período en EE. UU. y los laboratorios de inteligencia artificial con efectivo en progreso y sus inversores están listos para cotizar en el tan esperado mercado de valores.
Los directores ejecutivos de Anthropic y OpenAI anunciaron recientemente que los modelos más avanzados de Estados Unidos son demasiado poderosos, demasiado peligrosos y deben controlarse y probarse de forma independiente antes de su lanzamiento. En una rara muestra de solidaridad, ellos y otras empresas de IA han pintado escenarios alarmantes en artículos, publicaciones en redes sociales y discursos en las Naciones Unidas.
En el camino, dan forma a la conversación sobre cómo debería regularse su tecnología. Además de su retórica, las empresas parecen estar buscando apoyo público y estableciendo reglas para sus propios protocolos de seguridad en un mercado no regulado, dijeron a The Associated Press expertos, analistas y ex evaluadores gubernamentales.
Es posible que esos objetivos no coincidan exactamente con lo que quería el ingeniero antropomórfico Jacob Coxon cuando salió. Posición Este mes en X, se debe suspender el desarrollo tecnológico para evitar que sistemas “sobrehumanos” escapen al control de sus creadores. Pero cuando las empresas necesitaron capital fresco antes de cotizar en Wall Street, vieron su posición como una oportunidad para resaltar sus propios esfuerzos de seguridad y posicionarse como líderes cautelosos del mercado.
El presidente Trump ha desestimado la necesidad de nuevas regulaciones sobre la IA, desestimando los rumores sobre riesgos para la humanidad como un “engaño” diseñado para ayudar a China.
Una portavoz de Antropología dijo en respuesta a preguntas que la compañía ha pedido regulación durante años. Una portavoz de OpenAI, Liz Bourgeois, dijo que la compañía suspendió recientemente el entrenamiento de sus modelos avanzados.
“La gente quiere saber que la IA se está desarrollando de forma segura, y eso comienza con lo que empresas como nosotros estamos haciendo nosotros mismos”, afirmó Bourgeois.
Cambiando la conversación
Girar la conversación hacia las amenazas potenciales -y alejarla de los temas polarizadores de los impactos ambientales de los centros de datos, los incidentes de piratería incontrolada, la vigilancia masiva impulsada por la IA y la guerra de los sistemas de IA- coloca a Silicon Valley en una posición más cómoda, dijo Sarah Shoker, quien anteriormente dirigió el equipo geopolítico de OpenAI.
“Una vez más estamos hablando de riesgo existencial, al tiempo que damos prioridad a los muchos riesgos críticos para la seguridad que existen hoy en día. Si nos fijamos en el uso de la IA en la tecnología militar, veremos que estos sistemas ya se han utilizado para matar personas”, dijo. Sorpresa desagradable, Un becario senior no residente Laboratorio de seguridad y riesgos de UC Berkeley.
A medida que las empresas de IA han pasado de construir chatbots con reconocimiento tridimensional a “modelos mundiales” avanzados de IA, se ha intensificado el debate sobre cómo se deben probar sus tecnologías.
Los incidentes críticos muestran que las principales empresas de inteligencia artificial no se protegen ni diseñan experimentos seguros. En los últimos meses, agentes de inteligencia artificial de laboratorios líderes han pirateado sitios web externos después de que se les permitió escapar del entorno de pruebas de capacitación de la compañía, logrando avances matemáticos solo para enfrentar acusaciones de robar el trabajo de los matemáticos al interactuar con sitios web del gobierno estadounidense de maneras inesperadas.
Los representantes de OpenAI dijeron recientemente a los periodistas que han hablado con empresas de inteligencia artificial, incluidas Anthropic y Google, sobre la posibilidad de detener el desarrollo. También argumentan que si el gobierno no regula, necesitarán auditores independientes para verificar el progreso de los laboratorios.
Su supervisión comprime la visión.
Trump ha mostrado poco interés en regular la IA, que ha sido un motor clave del reciente crecimiento económico de Estados Unidos.
El propio presidente llegó a acuerdos con empresas de Silicon Valley que vinculaban más estrechamente la economía con sus éxitos. El capitalista de riesgo de San Francisco, David Sachs, que copreside el Consejo de Asesores de Ciencia y Tecnología de Trump, ha desestimado los llamados a una desaceleración de la IA como alarmistas. “Complejo Industrial Toomer”.
La realidad es que la administración Trump ya ha evaluado los modelos de algunas empresas tecnológicas con una agencia federal poco conocida. Centro de Innovación y Estándares de IA de EE. UU.o CAISI. El presidente Biden creó la agencia en 2023 como una cámara de compensación para que los laboratorios presenten voluntariamente modelos avanzados de IA para su prueba.
La agencia todavía existe, pero el campo se ha ampliado para incluir una serie de empresas de evaluación independientes, como una organización sin fines de lucro con sede en Berkeley. metroEl director ejecutivo de Anthropologie, Dario Amodi, sugirió en un artículo reciente que las prácticas de seguridad de su empresa ayudan a identificarlos.
Pero a diferencia de los sectores regulados como los restaurantes, los servicios financieros o la aviación, no existen estándares universales sobre cómo probar la seguridad de los sistemas de IA, dijo Andrew Strait, quien recientemente dejó el Instituto de Seguridad de IA del Reino Unido para trabajar con CAISI.
En particular, las empresas no han pedido una supervisión adicional por parte de la agencia gubernamental que maneja tales solicitudes, dijo Konrad Stoss, quien anteriormente dirigió CAISI. En cambio, crean sus propios parámetros de auditoría, seleccionan evaluadores específicos y prometen cumplirlos.
Stoss ahora trabaja en uno de esos laboratorios de evaluación, que se ha asociado con Anthropic, OpenAI y Google para probar sus sistemas. Foro de moderadores de IACrea mejores prácticas para el sector. Dijo que incluso hubo preguntas en el foro sobre lo que querían Amodi y el presidente de OpenAI, Sam Altman.
“Muchos evaluadores están interesados en integrarse a los laboratorios y obtener más acceso, pero no está claro qué son exactamente los evaluadores integrados”, dijo Stoss, ahora presidente ejecutivo. translúcidoLa semana pasada, OpenAI reveló que agentes habían pirateado sitios web de los gobiernos de Estados Unidos y Australia. “¿Pueden los evaluadores realizar investigaciones exhaustivas, suponiendo que el acceso se conceda de una manera que no socave su independencia y credibilidad?”
Posicionarse como apuestas seguras
a Harrison RolfesA Libro de propuestas El analista senior de investigación dijo que los llamados a la cautela de las empresas de IA favorecen a los inversores antes de las ofertas públicas y las elecciones intermedias a medida que cambian los vientos políticos. Los gobernadores demócratas ya se están apresurando a demostrar que toman en serio las advertencias.
Mientras tanto, los gigantes de la IA pueden defenderse del crecimiento de rivales más pequeños posicionándose como apuestas seguras para los inversores, los fabricantes de chips de IA y las empresas tecnológicas como Nvidia y Google, dijo Rolfes, que pueden beneficiarse de contratos que proporcionen potencia informática a las empresas gigantes de la IA.
“Están construyendo un muro o un foso dentro de esta industria… Es genial y todos van a ganar mucho dinero”, dijo Rolfes. “Veo este tema aquí en el que las principales empresas del mundo construyen su propio muro y luego mencionan la seguridad”.
No todas las empresas de IA reconocen la desaceleración. Jensen Huang, director ejecutivo del fabricante de chips Nvidia, dijo en una conversación telefónica con Trump (una llamada que recibió en el escenario de una conferencia) que está de acuerdo. Hay una advertencia excesiva de IA Y las empresas pueden optar por tomar su propio ritmo.
Dijo Daniel Kokotajlo, quien dejó OpenAI en 2024 debido a preocupaciones similares a las de Coxon. La ansiedad continúa Los sistemas de IA avanzan más rápido de lo que las empresas pueden controlar y temen escenarios existenciales como la capacidad de la IA para crear armas biológicas, una guerra nuclear u otras catástrofes.
“Todo este discurso es realmente una forma de disipar y redirigir esta voluntad política, en lugar de canalizar esa voluntad política para hacer el bien”, dijo Kokotajlo, quien ahora dirige una organización de defensa de la defensa de la IA y asesoró a Coxon antes de que renunciara. “Por favor, no hagas algo que nos mate a todos”.
Burke escribe para Associated Press. El periodista de AP Josh Bogue en Washington contribuyó a este informe.