
El estudio también detectó riesgos adicionales. Una proporción considerable de las aplicaciones analizadas está clasificada como apta para usuarios de entre 4 y 12 años de edad, a pesar de que ofrecen funciones para eliminar ropa o generar videos con bailes de carácter erótico. El documento advierte, además, que muchas de estas aplicaciones tienen su sede en China, lo que plantea preocupaciones sobre la posible captura de datos biométricos y fotografías sensibles.
Katie Paul, directora del Tech Transparency Project, explicó que “las leyes de retención de datos en China establecen que el gobierno chino tiene derecho a acceder a la información de cualquier empresa local. Por lo tanto, si alguien está creando desnudos falsos de ti con estas aplicaciones, esas imágenes podrían quedar en manos del gobierno chino”.
El reporte también señala que los sistemas de control implementados por Apple y Google resultan ineficientes. La App Store prohíbe aplicaciones que generen “contenido ofensivo, insensible, perturbador, con intención de causar repugnancia, de muy mal gusto o abiertamente sexual o pornográfico”. De forma similar, la Play Store veta las representaciones de desnudez, las poses sexualmente sugerentes y las aplicaciones que degraden o cosifiquen a las personas.
Sin embargo, como subraya el TTP, estas políticas “no han logrado mantenerse al ritmo de la proliferación de aplicaciones profundo impulsadas por IA que pueden ‘desnudar’ a personas sin su permiso. Aunque ambas compañías afirman estar comprometidas con la seguridad de sus usuarios, continúan albergando un conjunto de aplicaciones capaces de transformar una fotografía inocente de una mujer en una imagen abusiva y sexualizada«.
falsificaciones profundas sexuales creados con IA a la alza
Tras la publicación del informe, Apple eliminó 28 de las aplicaciones señaladas, mientras que Google retiró 31. No obstante, los expertos advierten que estas acciones no resuelven el problema de fondo, ya que las aplicaciones eliminadas suelen reaparecer bajo otros nombres o con descripciones aparentemente inofensivas. El estudio recomienda que ambas empresas refuercen sus mecanismos para detectar funciones de “desnudo” ocultas detrás de títulos engañosos, como supuestos editores de anime o probadores virtuales de ropa. Asimismo, sugiere cambios estructurales en los sistemas de revisión de las tiendas de aplicaciones para desalentar la proliferación de herramientas con alto atractivo comercial pero con riesgos significativos.
El informe se da a conocer después de que decenas de usuarios de X (antes Twitter) explotaran las capacidades de Grok para generar versiones sexualizadas de fotografías de mujeres y menores de edad sin su consentimiento. De acuerdo con diversos reportes, el chatbot de IA habría generado cerca de 3 millones de imágenes sexualizadas y más de 22,000 que involucraban a niños en un periodo de apenas 11 días.
Especialistas en tecnología y derechos digitales advierten que el contenido sexual generado con IA ha experimentado un crecimiento acelerado conforme se amplía el acceso a herramientas de inteligencia artificial generativa. Solo en los primeros nueve meses de 2023, se subieron aproximadamente 113,000 videos de este tipo a sitios web para adultos, frente a los 73,000 registrados en todo 2022. También se estima que los videos sexualmente explícitos creados con IA representan el 98% de todo el contenido profundo que circula en línea. Durante el último año, este material aumentó un 400% y alcanzó un tráfico mensual superior a los 34 millones de usuarios en 2023.
Ante este escenario, OpenAI, Google, Meta, Microsoft, Amazon y otras cinco empresas tecnológicas anunciaron un compromiso conjunto para combatir la creación y difusión de material sexual abusivo generado con IA. Como parte de este esfuerzo, acordaron adoptar los principios de Seguridad por diseñoun enfoque que sitúa la seguridad y los derechos de los usuarios en el centro del diseño y desarrollo de productos y servicios. No obstante, la eficacia real de este mecanismo ha sido cuestionada en repetidas ocasiones.
Últimas noticias de última hora Portal de noticias en línea