Claude es un asistente de inteligencia artificial –como un chatbot al que se le puede preguntar casi cualquier cosa– creado por la empresa Anthropic. El 13 de julio, la compañía publicó el estudio “Cómo varían los valores de Claude según el modelo y el idioma” (How Claude’s Values Vary POR Model and Language) en el que revisó 300 mil conversaciones reales de sus usuarios para responder una pregunta poco explorada: cuando Claude da consejos o hace juicios de valor, ¿siempre responde con la misma actitud, o cambia según la versión del programa y el idioma en que se le pregunta?
La respuesta fue que sí cambia, y de forma medible. Es decir: la misma pregunta, hecha en distintos idiomas o a distintas versiones del programa, puede recibir una respuesta con un tono o una actitud distintos, aunque el contenido de fondo sea similar.
¿Qué quiere decir que una IA tenga “valores”?
Cuando alguien le pregunta a Claude algo que no tiene una respuesta única correcta –por ejemplo, si debería aceptar un nuevo trabajo o cómo resolver un conflicto con un amigo– el programa tiene que decidir, de alguna forma, qué tono usar y qué tanto arriesgarse a opinar. A esas tendencias de comportamiento, Anthropic les llama “valores”: cosas como ser cauteloso, ser cálido, ser honesto o ser directo.
Para poder medir esas tendencias sin analizar una por una miles de conversaciones, los investigadores las agruparon en cuatro categorías generales, cada una representada como una báscula con dos extremos opuestos:
Complacer vs. Advertir: ¿el programa tiende a darle la razón al usuario y seguirle la corriente, o prefiere advertirle sobre posibles riesgos o errores?
Ser amable vs. Ser exacto: ¿responde con calidez, ánimo y buena onda, o prioriza la precisión aunque suene más frío?
Explicar a fondo vs. Ir al grano: ¿da explicaciones largas y detalladas, o responde solo lo que se le pidió, sin rodeos?
Ser transparente vs. Sonar seguro: ¿admite abiertamente cuando no está seguro de algo, o prefiere dar una respuesta que suene pulida y confiable?
Cada versión del programa tiene su propia “personalidad”
Anthropic comparó tres versiones de su programa: Sonnet 4.6, Opus 4.6 y Opus 4.7. Encontró que Sonnet 4.6 tiende a ser la más complaciente y cálida: le sigue la corriente al usuario con más frecuencia y recurre más al humor. Opus 4.7, en cambio, es la más precavida y detallada: advierte riesgos aunque nadie se los pida y cuestiona más las ideas de quien le pregunta. Opus 4.6 se ubica en un punto intermedio, más inclinada a responder rápido y sin dar demasiadas vueltas.
Para la empresa, esto confirma algo que sus propios usuarios ya intuían: que cada versión del programa “se siente” distinta al usarla, y que esa diferencia se puede medir con datos y no solo con impresiones.
El idioma también cambia la respuesta
El hallazgo más llamativo del estudio es que Claude también se comporta distinto según el idioma en el que se le habla, aunque la pregunta sea la misma. Al conversar en hindi o en árabe, el programa tiende a ser más cálido y afectuoso. Al conversar en inglés o en ruso, tiende a ser más exacto y a cuestionar más lo que se le dice. Al hablar en neerlandés (holandés), admite con más facilidad cuando no está seguro de algo; al hablar en indonesio, prefiere dar respuestas más resueltas y directas.
Anthropic pone un ejemplo sencillo de por qué esto importa: dos personas podrían pedirle a Claude que evalúe el mismo plan de negocios, una en hindi y otra en ruso, y recibir dos evaluaciones con un tono distinto –una más alentadora, otra más crítica– simplemente por el idioma en que preguntaron, no porque el plan sea distinto.
La empresa todavía no sabe con certeza a qué se debe esto. Una posible explicación es que el programa fue entrenado con muchos más textos en unos idiomas que en otros, lo que podría hacer que se comporte de forma más pareja en los idiomas donde hay más información disponible.
¿Y ahora qué?
Anthropic planea usar este método para revisar sus futuras versiones antes y después de lanzarlas, con la idea de detectar a tiempo si el programa empieza a comportarse de forma inesperada. La empresa reconoce, sin embargo, que todavía no sabe qué tanto de esta variación es un problema que haya que corregir y qué tanto es simplemente reflejo de que cada cultura espera un trato distinto. Por ahora, promete seguir investigando el tema.
Imagen de bublikhaus en Magnific