Tras la tragedia en la que un adolescente con síndrome Asperger se suicidó por causas relacionadas a conversaciones con una mujer ficticia basada en un chatbot, la compañía Character AI anunció nuevas medidas de seguridad para sus usuarios. ¿Será suficiente para prevenir más casos?
Character AI implementará una serie de nuevas funciones de seguridad y de productos que apuntan a fortalecer la plataforma sin comprometer la “experiencia entretenida y atractiva que los usuarios esperan”.
Dentro de esto, los modelos para menores de 18 años que están diseñados para reducir la probabilidad de encontrar contenido sensible o sugerente, tendrán modificaciones.
Detección, respuesta e intervención mejoradas relacionadas con las entradas de los usuarios que violen los Términos o Pautas de la comunidad, por ejemplo.
Te puede interesar: Madre demanda a empresa IA: asegura que su hijo se suicidó después de enamorarse de ella
La compañía anota que existe una exención de responsabilidad revisada en cada chat para recordar a los usuarios que la IA no es una persona real. También se vale de notificaciones cuando un usuario ha pasado una sesión de una hora en la “plataforma con flexibilidad de usuario adicional en progreso”.
Con respecto a la moderación de personajes, la compañía realizará una detección y moderación proactiva de personajes creados por los usuarios, lo que incluye el uso de listas de bloqueo personalizadas y estándares de la industria que se actualizan periódicamente.
De manera proactiva y en respuesta a los informes de los usuarios, también eliminarán personajes que violan los Términos de servicio. Además se comprometen a cumplir con los requisitos de la DMCA (Ley de Derechos de Autor de la Era Digital) y a tomar medidas rápidas para eliminar personajes denunciados que violan la ley de derechos de autor.
“Los usuarios pueden notar que recientemente eliminamos un grupo de personajes que se habían marcado como infractores y que estos se agregarán a nuestras listas de bloqueo personalizadas de ahora en adelante. Esto significa que los usuarios tampoco tendrán acceso a su historial de chat con los personajes en cuestión”.
Todo lo anterior, debido al trágico suceso donde Sewell Setzer III, un joven de Florida de 14 años, se apegó emocionalmente a una mujer irreal basada en un chatbot y un personaje de Game of Thrones.
Después de muchas conversaciones con contenido romántico y sexual, el adolescente se quitó la vida con una pistola en febrero de 2024. Setzer había recibido un diagnóstico de Asperger leve cuando era niño y recientemente le diagnosticaron ansiedad y trastorno de desregulación del estado de ánimo disruptivo, según informó el periódico Times.
Te puede interesar: SEC abre investigación: ¿empresas financieras están usando la IA para favorecerse por encima de los usuarios?
La madre del adolescente, Megan L. Garcia, presentó una demanda buscando responsabilizar a Character AI y sus fundadores por la muerte de su hijo, alegando que la tecnología era peligrosa e insegura para menores.
“Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestras más profundas condolencias a la familia”, tuiteó Character.ai. “Como empresa, tomamos la seguridad de nuestros usuarios muy en serio”.
Imagen: Character AI
