Después de convertir resultados matemáticos espectaculares en una crisis de reputación, OpenAI consulta con matemáticos humanos para ayudarlos a encontrar un camino menos desastroso.
El lunes, la empresa declarado Un nuevo grupo de matemáticos independientes que asesoran a otras empresas de inteligencia artificial sobre investigación matemática y sus interacciones con la comunidad matemática en general, incluida cómo se presentan y publican los nuevos resultados. Su repentina llegada sorprendió a muchos matemáticos. Los investigadores dijeron borde El grupo es un buen primer paso, pero muchos dijeron que quedan preguntas fundamentales sobre qué hará realmente, qué tan influyente será y si OpenAI realmente lo escuchará, así como preocupaciones sobre si un pequeño grupo de investigadores clave puede representar a la comunidad matemática en general.
El panel de nueve miembros incluye aquellos descritos por los investigadores. borde Los notables incluyen numerosas medallas Fields y “becas genio” MacArthur de instituciones como Stanford, Harvard, Oxford y Cambridge. Será organizado por el Instituto Princeton de Estudios Avanzados (IAS) de Nueva Jersey, uno de los centros de investigación matemática más respetados del mundo, y albergará a Albert Einstein, John von Neumann y J. Es la antigua casa intelectual de figuras como Robert Oppenheimer.
“Otro hecho fundamental es que nuestro objetivo primordial es representar los intereses de la comunidad matemática y representarlos lo mejor que podamos”.
OpenAI dijo que el grupo, llamado Grupo Asesor en Matemáticas e Inteligencia Artificial (AGMAI), sería independiente de la empresa para brindar asesoramiento no solicitado, comentar públicamente sobre su impacto en las matemáticas y hacer públicos sus consejos. Parece que el grupo tendrá acceso temprano a la investigación de OpenAI para poder cumplir su misión. OpenAI no paga a los miembros y el grupo puede cambiar su membresía según corresponda, dijo OpenAI. “Su valor depende de si sus miembros pueden ejercer su propio criterio y desafiar el nuestro”, dijo la compañía. “El equipo asesorará sobre la revisión y comunicación de los resultados emergentes: ayudará a OpenAI a evaluar su importancia, cómo coordinar su difusión y asesorará sobre los estándares académicos y profesionales de la investigación matemática. También asesorará sobre cómo nuestras herramientas pueden apoyar la investigación y el aprendizaje matemático”.
A pesar de su importancia para la independencia, no está claro cuán influyente será realmente el grupo ni por qué se formó en primer lugar. Simon Machado, investigador de ETH Zurich en Suiza, dijo que todo el asunto estaba “envuelto en un misterio” y cuestionó cómo se eligieron los nueve miembros. del grupo Sitio web básico Dice que “se unió después de que OpenAI se acercara a algunos de sus miembros para establecer un grupo asesor externo”, pero luego de conversaciones con la compañía, los matemáticos decidieron iniciar un grupo independiente y unirse a otros. No está claro a qué miembros se acercó inicialmente OpenAI o cómo se seleccionaron los miembros restantes.
A Publicación de blog En una publicación el martes, el miembro del consejo asesor Martin Harer explicó los orígenes del grupo y el pensamiento detrás de él, respondiendo a lo que llamó una “corriente de desinformación” en torno a su creación. “Es obvio que la IA ya ha tenido un profundo impacto en la investigación matemática y plantea muchas preguntas sobre la caracterización adecuada de las ideas, la priorización y la comprensión humana de las ideas”, escribió.
Al reconocer que el grupo se creó en respuesta al enfoque de OpenAI, Hairer enfatizó que la organización no se ha puesto en contacto con todos sus miembros y que la organización resultante es “verdaderamente independiente de OpenAI y de los llamados laboratorios de IA ‘fronterizos'”. Más allá de los “obvios requisitos de confidencialidad”, los miembros no han firmado ningún acuerdo restrictivo que limite lo que pueden decir públicamente, no reciben ninguna compensación financiera y dependen del soporte técnico de IAS.
“Otra verdad fundamental es que nuestro principal objetivo es representar los intereses de la comunidad matemática lo mejor que podamos”, escribió Hairer, profesor de matemáticas en el Imperial College de Londres y en el Instituto Federal Suizo de Tecnología en Lausana (EPFL). Señalando que el grupo no es una muestra representativa de la comunidad, dijo: “Los nueve nos estamos tomando esto muy en serio y estamos trabajando de buena fe”.
Sin embargo, aunque los miembros son elegidos, el grupo actualmente está formado por un grupo de élite de matemáticos académicos. El pequeño tamaño plantea más dudas sobre si el grupo tiene la amplitud de experiencia necesaria para evaluar todo lo que se le presente, dadas las habilidades y conocimientos altamente especializados necesarios para operar en la frontera de las matemáticas.
Francesco Fournier-Fazio, profesor entrante de matemáticas en la Universidad Heriot-Watt en Escocia, se describió a sí mismo como muy “lúcido” acerca del grupo, diciendo que un mayor compromiso con los matemáticos sólo puede “mejorar las cosas”. Pero cuestiona si el grupo refleja plenamente una sociedad donde los empleos y los medios de vida se ven impulsados por la búsqueda de OpenAI para ganar trofeos de matemáticas. “Se siente como una torre de marfil”, dijo. borde.
Machado también cuestionó si los miembros del grupo entendían completamente o podían hablar de las preocupaciones de la comunidad matemática en general en lo que respecta a la IA. “Son matemáticos maravillosos, pero no sé si son el tipo de personas que quiero representar en cuestiones más políticas”, dijo. Machado dijo que los matemáticos en sus posiciones y en posiciones similares de élite, “creo que la realidad que enfrentan es muy diferente de la realidad que enfrentan la mayoría de los matemáticos ahora”.
Si el equipo puede ganarse la confianza de los matemáticos determinará en última instancia qué tan efectiva será la reciente incursión de OpenAI para anunciar resultados para frenar las consecuencias de los pasos en falso y, lo que es más importante, suavizar el impacto de lo que la compañía planea anunciar a continuación. En su blog, Harer dijo que los miembros serían “muy ingenuos si creyeran que los laboratorios de IA no intentarán adaptar cualquier cosa que digamos a su máquina de relaciones públicas, eclipsando cualquier cosa que se nos ocurra”.
Aún así, Harer argumentó que sería hipócrita no involucrarse ahora que OpenAI parece estar haciendo un esfuerzo, especialmente después de que muchos criticaron el comportamiento y la mala comunicación de la empresa. El grupo aún no ha decidido qué consejo pretende ofrecer, pero tiene un problema claro que responder: “Es un hecho que las empresas de IA han estado produciendo algunos resultados matemáticos de alta calidad en los últimos meses, y que su publicación y difusión están muy por debajo de una práctica matemática aceptable.
“Actualmente nos enfrentamos a un desafío muy específico al asesorar a OpenAI sobre cómo coordinar la publicación de una gran cantidad de resultados significativos en matemáticas, que, según informan, son generados por su modelo interno”.
Por ahora, dijo Harer, el equipo está recopilando opiniones a través de conversaciones con colegas y el público en general. Formato de comentarioy discusión Pruebas e incitaciónEl blog se ha convertido en el principal foro para que los matemáticos cuantifiquen el impacto de la IA en este campo.
Pero el mayor desafío del equipo está por delante. Al anunciar el consejo asesor, OpenAI casualmente dejó caer la noticia de que su nuevo modelo inédito, que resolvió el problema del Premio Navier-Stokes Millennium, ahora ha “resuelto más de 100 problemas abiertos de larga data en la mayoría de las áreas de las matemáticas”. Anteriormente había dicho que estaba cerrando otra edición del Premio del Milenio. En su sitio web, el grupo dijo que su primera prioridad era abordar este estancamiento: “Actualmente nos enfrentamos al desafío particular de asesorar a OpenAI sobre cómo coordinar la publicación de una gran cantidad de resultados significativos en matemáticas, que, según informan, son generados por su modelo interno”.
En parte, el nuevo esfuerzo por involucrar a los matemáticos es un reconocimiento del monumental desastre de relaciones públicas del esfuerzo, en el que la compañía se defendió de las acusaciones de captar investigadores, manipular sus modelos para el trabajo humano y robar a quienes usan sus modelos. Esas controversias dejaron a muchos matemáticos preguntándose si la institución entendía (o incluso respetaba) la disciplina y la sociedad en la que estaba restringida.
Después de meses de escribir sobre lo que quieren los matemáticos, Kevin Buzzard, profesor de matemáticas en el Imperial College de Londres, se preguntó por qué OpenAI parecía necesitar un organismo de élite para comprender lo que quería la sociedad. “No es una prueba de teorías duras, es una mejor comprensión de nuestro tema”, dijo. “No me queda del todo claro que se necesite un grupo de personas inteligentes para aclarar el punto”.