Facebook usa AI para detectar fotos ofensivas

Los empleados de Facebook deben ver decenas de imágenes perturbadoras cada día.

Los empleados de Facebook deben ver decenas de imágenes perturbadoras cada día.
Los empleados de Facebook deben ver decenas de imágenes perturbadoras cada día.

Facebook está usando su plataforma de Inteligencia Artificial para identificar fotos ofensivas en la red social. Incluso, el sistema de AI ahora reporta más contenido obsceno y violento que los empleados de Facebook, lo cual le evita malos ratos a las personas que usualmente revisan fotos.

Con más de 1.650 millones de usuarios en el mundo, Facebook recibe todo tipo de publicaciones de fotos que en muchos casos no cumplen con los términos y condiciones del sitio. Garantizar un sitio en el que se pueda compartir información sin miedo es importante para Facebook. Un reporte de TechCrunch reveló que Facebook está invirtiendo en su plataforma de AI para que ayude en esa misión.

Pero Facebook no es la única que enfrenta contenido abusivo. Los contenidos inapropiados son pan de cada día en todas las plataformas de redes sociales. Twitter ha recibido muchas críticas por continuos reportes de abuso, y por eso hace unos meses la compañía expandió su equipo de respuesta de reportes. También compró un sistema de AI que identifica imágenes ofensivas, que si bien no reemplaza por completo el trabajo humano, ayuda a filtrar el gran flujo de reportes en la red social, según Wired.

Incluso ayer martes Facebook, Twitter, YouTube y Microsoft firmaron un compromiso con la Unión Europea para reportar y eliminar cualquier contenido con discurso de odio en menos de 24 horas. El sistema de AI de Facebook seguramente le ayudará a cumplir con esa meta.

Un alivio para todos

Los protocolos de Facebook exigen que cuando un usuario sube un contenido ofensivo al menos una persona ‘real’ debe reportarlo, ya sea un usuario o un empleado. Estas publicaciones, que violan los términos de servicio de Facebook, pueden incluir contenido que es discurso de odio, amenazas, pornografía, imágenes que incitan a la violencia, o que contiene desnudos o violencia expresa.

Cuando una persona sube una foto inapropiada, al momento de recibir el reporte, y proseguir con el proceso de verificación y eliminación, ya se pudo haber hecho un daño en las personas que alcanzaron a ver la foto, entre las que están los empleados de Facebook.

El trabajo de revisar contenido ofensivo es ‘brutal’, según el reporte, ya que además de los bajos salarios, las personas deben enfrentarse a fotos con contenido gráfico ofensivo y altamente perturbador. Los empleados se ven afectados psicológicamente por tener que ver a diario fotos desde pornografía infantil hasta decapitaciones. Muchos de los ‘revisadores’ han reportado síntomas similares al desorden de estrés postraumático, y han tenido que acudir a terapia.

Es por eso que la plataforma de AI puede resultar siendo un alivio para Facebook, tanto para los usuarios como para los empleados. El sistema es la primera línea de defensa de los ‘revisadores’, ya que escanea cada imagen que se sube a Facebook y clasifica aquellas que tienen contenido ofensivo y las borra antes de que cualquier persona pueda verlas.

A pesar de los evidentes beneficios de usar la plataforma de AI, existen ciertos riesgos que se pueden evitar si se aplica con cautela la tecnología. Por ejemplo, el sistema podría no identificar cuándo una imagen se trata de una obra artística que podría tener cierto grado de desnudez, por ejemplo. Además, se teme que se reemplacen los empleos de personas por las máquinas.

De acuerdo con el director de la máquina de AI de Facebok, Hussein Mehanna, se espera poder usar el sistema de AI para lograr identificar contenido ofensivo más allá de las imágenes, es decir con texto. Según Mehanna, cada minuto se hacen 400.000 publicaciones y de esas publicaciones, aquellas de marcas y personas famosas reciben más de 180 millones de comentarios en total. Es por eso que es importante saber identificar texto abusivo.

Imagen: Pixabay. 

Susana Angulo

Susana Angulo

Antes de Internet ya me gustaban la música clásica, los animales,
cocinar postres, y leer cuentos de terror. La tecnología me ha
permitido ahondar en estas y tantas otras pasiones, que sería un error
pensar en la cultura digital como tema exclusivo de 'geeks'. Soy
periodista de la Universidad del Rosario.

View all posts

Archivos