Descubren imágenes explícitas de niños en una plataforma de entrenamiento de IA para generar imágenes

Un grupo de investigadores de Stanford Internet Observatory ha detectado material de abuso sexual infantil en la base de datos de una reconocida herramienta con inteligencia artificial generativa.
El retiro de la herramienta con IA es temporal.
El retiro de la herramienta con IA es temporal.
Bing Image Creator
El retiro de la herramienta con IA es temporal.

El boom por la inteligencia artificial (IA) llegó con el lanzamiento de ChatGPT hace un año y, desde entonces, esta tecnología ha evolucionado lo suficiente como para convertirse en una herramienta que nos puede ayudar en nuestro día a día. Pero desafortunadamente, hay usuarios que utilizan la IA de forma malintencionada con el fin de perjudicar a otras personas, como por ejemplo, el caso de las jóvenes de Almendralejo (Badajoz, España), una menores que fueron víctimas de la difusión de unas imágenes irreales en las que salían desnudas.

Y por si fuera poco, meses después de este suceso, la historia se volvió a repetir en una escuela de Nueva Jersey (Estados Unidos), donde un grupo de estudiantes también utilizó la inteligencia artificial para crear fotografías falsas de desnudos de estudiantes.

Pero más allá de estos dos casos, el mal uso de la IA también ha llegado a las bases de datos de empresas como Stable Diffusion. Concretamente, un grupo de investigadores de Stanford Internet Observatory han detectado material de abuso sexual infantil en la base de datos de dicha entidad para entrenar a sus modelos de inteligencia artificial generativa de imagen.

¿Cuál era la base de datos con material de abuso sexual?

LAION-5B es una base de datos con 5.850 millones de pares de texto-imagen que se emplea para entrenar IA generativas que están dedicadas a la creación de imágenes. No obstante, matiza en su página web que dicha base no está ·curada" y que la "naturaleza no seleccionada del conjunto de datos" puede dar lugar a "contenido muy incómodo y perturbador".

¿Cómo se identificaron las imágenes?

Los investigadores recurrieron a una combinación de coincidencia de hash perceptual de PhotoDNA, coincidencia de hash criptográfica, consultas de vecinos y clasificadores de aprendizaje automático para identificar el material de abuso sexual infantil que se estaba utilizando para entrenar a dicho modelos de IA generativa.

¿Qué ha pasado con las imágenes?

LAION ha retirado temporalmente la base de datos, como confirmó al diario 404 Media, para asegurarse de que los conjuntos de datos "son seguros antes de volver a publicarlos".

Apúntate a nuestra newsletter y recibe en tu correo las últimas noticias sobre tecnología.

Mostrar comentarios

Códigos Descuento