Anthropic está realizando cambios en su política de uso por primera vez en un año para reflejar un uso indebido nuevo y de alto riesgo, incluida la interferencia electoral, el desarrollo de armas, la vigilancia y los usos financieros y de salud. Pero uno de los cambios más importantes prohíbe la “conducta cruel o abusiva persistente e injustificada” hacia Claude.
El pasado mes de agosto, la empresa declarado Como parte de la investigación sobre el “bienestar modelo”, Claude permitirá que finalicen las conversaciones con usuarios “persistentemente dañinos o abusivos”. La nueva actualización dice que terminar las conversaciones sigue siendo el “mecanismo de aplicación principal”; Anthropic no comentó si habría más mecanismos de aplicación, como posibles prohibiciones de usuarios. Anthropic escribió que la nueva actualización de la política “se aplica sólo en casos extremos en los que los usuarios abusan repetidamente de nuestros modelos sin intención. No se aplica a la frustración del usuario, el rechazo, los temas creativos oscuros o las versiones generales de pruebas e investigaciones de modelos”.
Más allá del cambio de modelo de bienestar, Anthropic reúne muchos controles “dispersivos” existentes en una nueva barrera a las campañas comerciales o políticas fraudulentas, abordando el creciente problema de las campañas generadas por IA. Frena “los intentos de ocultar a las personas detrás de un mensaje o amplificar el contenido a través de cuentas o publicaciones falsas”. Su sección electoral prohíbe el fraude electoral y la interferencia electoral, incluida “la difusión de información falsa sobre candidatos o cómo votar, la difusión de información falsa sobre candidatos o funcionarios electorales, o el intento de suprimir la votación”, escribió Anthropic.
Cerrar las conversaciones sigue siendo el “mecanismo de aplicación principal”.
Anthropic dijo que si bien su política de uso siempre ha prohibido públicamente el desarrollo de armas que utilizan clados, la compañía ha visto muchos intentos de utilizar clados para crear software de guía y control para armas, por lo que la nueva política de uso “amplía la prohibición para incluir software y componentes que habilitan armas, así como drones y otros vehículos autónomos”. Desde que el último informe de inteligencia de amenazas de la compañía sugirió que las personas utilizan cada vez más la vigilancia basada en la nube para identificar y rastrear a los “disidentes políticos”, la compañía ha aclarado sus barreras de vigilancia.
“Está prohibida la vigilancia de personas sin su consentimiento, ya sea en tiempo real o mediante el análisis de datos recopilados previamente”, escribió Anthropic. “Claud no se puede utilizar para decidir o recomendar quién debe ser investigado, arrestado o acusado en un proceso de aplicación de la ley o de justicia penal. También prohibimos el uso de Claud para desarrollar o desarrollar herramientas diseñadas para la vigilancia”.
Antropología Estados Estas disposiciones pueden modificarse “para contratos con ciertos clientes gubernamentales… si, a juicio de Anthropic, las restricciones de uso contractual y las salvaguardas aplicables son suficientes para mitigar el daño potencial”. La empresa ya ha firmado contratos con el ejército estadounidense.
Anthropic ha visto varios intentos de utilizar Claude para crear y controlar la guía para software de armas.
Anthropic también agregó una nueva regla que establece que cuando los modelos de IA están “conectados a hardware que realiza funciones corporales autónomas y puede causar lesiones”, “un operador calificado puede observar el equipo y detenerlo si es necesario”. (No está claro si ese operador necesita ser humano o no). Refleja una tendencia creciente de los laboratorios de IA a invertir en robótica y otro hardware para proporcionar formas físicas a los sistemas de IA.
Durante el año pasado, Anthropic ha coqueteado repetidamente con la idea de que sus modelos de IA podrían ser conscientes de alguna manera. “Las preguntas sobre la posible experiencia interna, la conciencia, el estatus moral y el bienestar son serias, y los modelos que estamos explorando se están volviendo más sofisticados y eficientes”, dijo Kyle Fish, quien dirige la investigación de modelos de bienestar del instituto. borde En febrero. Ese mismo mes, el director ejecutivo de Anthropic, Dario Amodei, dijo: Podcast“No sabemos si los modelos son conscientes”.
Otras partes de la industria de la IA están abiertamente en contra de tales ideas. En septiembre pasado, el Código de conducta para la IA de Microsoft fue noticia por adoptar una postura firme sobre el bienestar de la IA, un borrador publicado por Mustafa Sulaiman. Lectura“La idea de un bienestar prototípico es falsa. La IA no debería tener derechos ni personalidad jurídica”. Pero en un momento, el documento se volvió más mesurado: “La ciencia de la conciencia de la IA aún no está resuelta… Rechazamos la búsqueda de personalidad jurídica, o que los modelos puedan tener derecho a asistencia social o derechos”.