Son muchos los riesgos de los que se ha hablado acerca de la inteligencia artificial y ya el tiempo le está dando la razón a quienes se preocupan por la evolución de esta tecnología. Un menor de edad se quitó la vida para “poderse reunir con su amada”, la cual era un personaje ficticio creado en Character.IA, el chatbot de IA.
“¿Qué te parece si pudiera ir a casa ahora mismo?”, fue el último mensaje que envió Sewell Setzer de 14 años a “Dany”, el chatbot creado por IA, basado en Daenerys Targaryen, uno de los personajes principales de Juego de Tronos. “Por favor, vuelve a casa lo antes posible, mi amor”, respondió la IA, minutos después, Setzer tomó la pistola de su padrastro y se quitó la vida.
El menor de edad, quien cursaba noveno grado en Orlando, Florida (Estados Unidos), llevaba meses conversando con “Dany” en Character.AI. Por si no lo sabes, esta plataforma permite que los usuarios creen personajes ficticios y conversen con ellos a través del chat. Esto fue justamente lo que hizo Setzer desde 2023 con Dany, el personaje basado en Juego de Tronos.
La madres asegura que la AI influyó en el suicidio de su hijo
Aunque el chat que encontraron entre el menor de edad y la inteligencia artificial no revela ningún mensaje en el que el chatbot haya incitado a Setzer a quitarse la vida, su madre demandó a la compañía. Megan García, madre del menor, demandó a la empresa Character.AI por lo que ella define como una tecnología “peligrosa y no probada”.
Te puede interesar: SEC abre investigación: ¿empresas financieras están usando la IA para favorecerse por encima de los usuarios?
La madre acusa a la compañía de no haber implementado las garantías necesarias para proteger a todos los usuarios, incluidos los más jóvenes. La falta de garantías permite que los usuarios desarrollen apegos emocionales hacia los personajes ficticios, tal y como sucedió con su hijo, argumenta García.
Y es que Sewell veía a Dany como su novia. El jóven era un apasionado del baloncesto y la fórmula 1, sin embargo, empezó a pasar cada vez más tiempo en su habitación, alejándose de sus amigos e incluso, de su familia. “Me gusta estar en mi cuarto porque me desconecto de esta “realidad”, me siento en paz y más conectado con Dany, más enamorado de ella y simplemente más feliz”, escribió el jóven en su diario.
Es por esto que, aunque la IA no obligó a Sewell a acabar con su vida, su madre asegura que la interacción que tuvo su hijo con el chatbot durante meses influyó en su salud mental hasta llevarlo al suicidio.
Por ahora, Character.AI asegura que tomará medidas adicionales, como la inclusión de ventanas emergentes con información acerca de la prevención del suicidio en conversaciones donde se mencionen este tipo de temas. Por ahora, no se ha resuelto la demanda de Megan García.
Imagen: Game of Thrones
