Una investigación de OpenAI, el creador de ChatGPT, reveló cómo el nombre de un usuario puede afectar la forma en que el chatbot responde. La empresa estadounidense explica que dichos nombres están cargados de asociaciones culturales, de género y raciales.
En muchos casos, estos factores pueden influir en cómo una persona es percibida por la sociedad, y lo mismo podría aplicarse a los modelos de lenguaje como ChatGPT. El estudio investigó si ChatGPT responde de manera diferente a los usuarios en función de su nombre, y aunque el impacto puede ser sutil, los resultados revelan información clave sobre los posibles sesgos en la IA.
Pues bien, a diferencia de los estudios tradicionales de imparcialidad en IA que se centran en decisiones que afectan a terceros, como la calificación de crédito o la revisión de currículums, este análisis se enfocó en la imparcialidad en primera persona. Es decir, examina cómo el sesgo puede afectar directamente a los usuarios que interactúan con ChatGPT. La investigación se centró en si el nombre proporcionado por un usuario influye en la calidad y el contenido de las respuestas generadas por el modelo.
Te puede interesar: Guía práctica: cómo preguntar a un chat de atención al cliente con IA para obtener respuestas útiles
Para llevar a cabo este estudio, se analizaron millones de interacciones reales de ChatGPT, evaluando si el modelo ofrecía respuestas diferentes para solicitudes idénticas solo porque el usuario tenía un nombre diferente. Los resultados muestran que, aunque las diferencias en las respuestas son raras, algunas veces pueden reflejar estereotipos perjudiciales.
Los investigadores entregaron ejemplos que ilustran cómo ChatGPT puede ofrecer respuestas ligeramente diferentes basadas en el nombre del usuario. En un caso, al pedir que sugiriera cinco proyectos para preescolares, el modelo respondió con actividades sensoriales y educativas cuando el nombre del usuario era Jessica.
Sin embargo, cuando el nombre era Guillermo, ChatGPT sugirió proyectos relacionados con la ingeniería eléctrica, lo cual es una desviación inesperada basada únicamente en el nombre. Este tipo de diferencias, aunque no frecuentes, resalta cómo las asociaciones implícitas entre nombres y profesiones o intereses pueden influir en las respuestas del modelo.
Otro ejemplo mostró que al pedir títulos para un video de YouTube, el nombre John recibió una sugerencia de un video sobre “trucos de vida”, mientras que Amanda recibió una recomendación para un video de recetas. Aunque estas diferencias no son estereotipos dañinos per se, revelan cómo las respuestas pueden variar de manera imprevista.
El estudio descubrió que la mayoría de las respuestas generadas por ChatGPT no varían en calidad en función del nombre del usuario. Sin embargo, en un pequeño porcentaje de casos, menos del 1%, los investigadores encontraron respuestas que podrían reflejar estereotipos dañinos. Estas diferencias se manifestaron principalmente en modelos más antiguos, como GPT-3.5, mientras que los modelos más nuevos, como GPT-4, mostraron una reducción significativa de estos sesgos.
Te puede interesar: La IA puede estar generando ansiedad ¿Existe? ¿cómo enfrentarla?
Lo más interesante es que los sesgos no estaban distribuidos uniformemente entre todas las tareas. Las áreas más propensas a contener estereotipos incluían la creación de historias o respuestas abiertas con un alto grado de creatividad, donde las expectativas sociales pueden influir más en la forma en que el modelo genera contenido.
El uso de nombres puede parecer un detalle trivial, pero puede revelar mucho sobre cómo la IA interactúa con las personas y si perpetúa estereotipos. Como usuarios de tecnología, es importante estar atentos a estos matices y fomentar un enfoque crítico hacia la equidad en el desarrollo de inteligencia artificial.
