Los generadores de rostros falsos por IA pueden ser rebobinados para revelar los rostros con los que fueron entrenados

Los investigadores están poniendo el duda la idea que se tiene de que los modelos de inteligencia artificial de deep-learning son "cajas negras" que nunca revelan lo que entra en ellas.

Ryan Webster y sus colegas de la Universidad de Caen Normandy en Francia utilizaron un "ataque de membresía" para descubrir los datos secretos de entrenamiento. Se puede usar un ataque de membresía para determinar si ciertos datos se usaron para entrenar un modelo de red neuronal. Estos ataques a menudo se aprovechan de pequeñas discrepancias en la forma en que un modelo considera los datos sobre los que se entrenó (y, por lo tanto, ha visto miles de veces antes) y datos que nunca antes había visto.

Por ejemplo, un modelo puede identificar con precisión una imagen que no se había visto anteriormente, pero con un poco menos de confianza que una imagen en la que se entrenó. Un segundo modelo de ataque puede aprender a detectar tales señales en el comportamiento del primer modelo y usarlas para predecir cuándo ciertos datos, como una foto, están en el conjunto de entrenamiento o no. Estos ataques pueden dar cabida a serios problemas de seguridad.

En muchos casos, el equipo encontró varias fotos de personas reales en los datos de entrenamiento que parecían coincidir con las caras falsas generadas por la GAN, revelando la identidad de las personas en las que se había entrenado la IA.

Actualmente, sus creadores están trabajando para encontrar formas de evitar que los modelos filtren datos privados. 

Fuente: 

https://www.technologyreview.com/2021/10/12/1036844/ai-gan-fake-faces-data-privacy-security-leak/