La empresa de inteligencia artificial Anthropic Claude tiene una nueva regla para los usuarios. Puedes discutir con el chatbot, pero no te acostumbres a intimidarlo.
El jueves, la empresa anunció su cambio. Política de uso Evitará que los usuarios participen en “comportamientos crueles o abusivos prolongados e injustificados” hacia sus modelos de IA. La política actualizada ya ha suscitado debate en reddit, en blogs Si las empresas pueden o deberían realmente gestionar el comportamiento humano hacia el software informático es otra cosa.
En una sección “Abordar el abuso de nuestros modelos” Publicación de blogAnthropic dice que su política que prohíbe el comportamiento abusivo en el terrón sólo se aplica en casos extremos de acoso repetido por parte de los usuarios llevado a cabo “sin ninguna intención”. Todavía se permiten “frustración, rechazo, temas creativos oscuros o pruebas e investigación de modelos” casuales. En los casos de “último recurso” en los que se aplica la política, Claude finaliza la conversación.
No está claro qué tipo de comportamiento “abusivo” haría que los modelos vestidos se desconectaran. Pero algunas pistas aparecen en una antigua publicación de blog. agosto 2025 Se refiere al “odio al daño” de Glad y al tipo de interacciones que provocan el cierre del chat. La publicación describía casos extremos de solicitudes de usuarios de contenido sexual que involucraran a menores e intentos de obtener información que permitiría actos de violencia o terrorismo a gran escala.
La compañía afirmó que cuando su modelo, en aquel momento el Claude Opus 4, fue expuesto a este tipo de contenido nocivo, mostró “un patrón de aparente angustia”.
CNET se acercó a Anthropic para pedirle contexto sobre lo que llevó al cambio de política. “No sabemos si los modelos pueden experimentar la vulnerabilidad y seguimos investigando esta cuestión. Investigación sobre el bienestar modeloPero creemos que puede ser apropiado que la defensa tenga en cuenta los intereses y potenciales intereses de Glad”, afirmó un portavoz de la empresa.
Seguimos hablando de una máquina, ¿verdad?
Cuando se dice que un modelo de IA es dañino o que expresa “sufrimiento” por abuso, uno se pregunta: ¿Qué significa abusar de una máquina con palabras? ¿La IA necesita seguridad? ¿Necesitamos todos un mejor comportamiento?
A medida que interactuamos cada vez más con grandes modelos de lenguaje como Claude y otros chatbots, existe una tendencia a antropomorfizar la tecnología: atribuir emociones a los modelos de IA o tratarlos como si tuvieran pensamientos y sentimientos. Esto es algo comprensible desde el punto de vista del usuario. Los chatbots se crean y entrenan para utilizar un lenguaje similar al humano, como disculparse, expresar preocupación y otras señales de conversación.
Pero la apariencia de un colaborador humano hace que los LLM sean riesgosos, lo que lleva a muchos a confiar a la IA nuestros pensamientos y datos más íntimos.
Anthropic y otras empresas de IA diseñan y entrenan deliberadamente sus modelos de esta manera. A Documento de principios de este año, Anthropic escribió que para que los modelos sean confiables y seguros, deben poder procesar situaciones emocionalmente difíciles. “Incluso si (los modelos) no perciben las emociones como lo hacen los humanos o no utilizan los mismos mecanismos que el cerebro humano, a veces es prácticamente aconsejable razonar sobre ellas”.
Otorgar títulos de maestría de esta manera, sin evidencia científica extensa que lo respalde, es un tema recurrente. El director ejecutivo de Anthropic, Dario Amodei, continúa defendiendo la idea de que Claude podría ser sensible. En una entrevista de febrero Los New York TimesAmodei dijo que estaba “abierto” a la posibilidad de que los modelos de IA sean sensibles.
Keith Kakadia, fundador y director ejecutivo Socialmentecontiene El crecimiento explosivo de Claude fue estudiado de cerca.Dijo que usar la palabra “cruel” para describir el comportamiento del usuario abre una “conversación mucho más amplia sobre si un producto puede hacer daño”. Centrarse en la “crueldad” en lugar del “abuso” tiene un peso emocional y sugiere que Claude tiene sentimientos y límites.
Personalizar un chatbot es una forma eficaz para que una empresa diseñe un producto que sea confiable (un socio al que será leal) y no solo una herramienta de software.
“En marketing, darle personalidad a un producto puede conectar fácilmente”, dijo Kakadia. “Pero con la IA, esa conexión también afectará la medida en que las personas potencien sus respuestas”.