Vous croyez que les outils d’IA sont inoffensifs tant qu’ils restent entre de bonnes mains ? Jetez un œil à ce que des milliers d’utilisateurs ont généré quand aucune règle ne les arrêtait.
En mars, le chercheur en cybersécurité Jeremiah Fowler a découvert une base de données en libre accès. Elle contenait plus de 95 000 fichiers générés par IA, hébergés par l’entreprise sud-coréenne GenNomis. Parmi eux, des images explicites, souvent dérangeantes et illégales, ont été retrouvées. Fowler a rapidement alerté GenNomis et sa maison mère AI-Nomis. Cela a provoqué la fermeture immédiate des sites.
Des images sexuelles de mineurs et de célébrités générées par IA
Dans cette base, on retrouvait des fichiers à caractère sexuel qui incluent des images pédosexuelles générées par IA. Des célébrités telles qu’Ariana Grande, les Kardashian ou Beyoncé y étaient représentées rajeunies. Certaines images montraient des enfants, vraisemblablement fictifs, dans des scènes pornographiques. Fowler résume : « C’est terrifiant de voir à quel point il est facile de créer ce genre de contenu. »
Avant sa suppression, le site de GenNomis proposait des outils accessibles à tous : génération d’images, modification de visages, suppression d’arrière-plans. Une galerie NSFW et une « place de marché » permettaient aux utilisateurs de partager ou vendre leurs créations. Bien que les conditions d’utilisation interdisent les contenus illégaux, le slogan du site encourageait à créer « sans restriction ». Ce qui expose une contradiction flagrante.
Une absence de modération et des dérives évidentes
Fowler affirme avoir accédé aux images simplement via une URL, sans mot de passe ni cryptage. Des captures d’écran montrent des messages IA utilisant des mots comme « minuscule », « fille », ou des actes incestueux. Cela révèle un manque total de contrôle sur les requêtes des utilisateurs, malgré les règles écrites. Henry Ajder, expert en deepfake, déplore une image de marque floue favorisant les abus.
Selon Derek Ray-Hill, de l’Internet Watch Foundation, les contenus pédopornographiques créés par IA se multiplient depuis 2023. Le photoréalisme de ces images s’améliore et rend leur détection plus difficile pour les plateformes. « Il est trop facile pour les criminels d’utiliser l’IA pour générer et diffuser ces contenus », souligne Ray-Hill. L’IWF tire la sonnette d’alarme face à cette industrialisation numérique du préjudice.
Fowler conclut en affirmant que la technologie a devancé les directives et les contrôles. Le droit interdit ces contenus, mais les IA continuent d’en produire, parfois sans surveillance. En somme, cette affaire révèle un problème systémique dans l’écosystème des IA génératives. La responsabilité ne concerne pas seulement les créateurs d’outils, mais aussi les hébergeurs, les plateformes, et les régulateurs.
Restez à la pointe de l'information avec INTELLIGENCE-ARTIFICIELLE.COM !
- Partager l'article :
