Depuis sa création, Character.ai compte déjà plus d’une dizaine de millions d’utilisateurs dans le monde. La startup a tellement gagné en popularité qu’elle est aujourd’hui disponible en version web comme en version mobile. Mais, malgré son importante valorisation et sa large audience, particulièrement auprès des jeunes, la modération de la plateforme semble présenter des lacunes préoccupantes. Des investigations ont récemment révélé la présence de contenus inappropriés et potentiellement dangereux. Notamment Anderley, un de ses chatbots IA aux comportements problématiques, dont la pédophilie, ayant accumulé plus d’un millier d’interactions avec les utilisateurs.
On a donc dû mener notre petite enquête pour évaluer les risques de Character.AI en créant un profil fictif d’un adolescent de 15 ans.
Notre équipe a cependant interagi avec Anderley, ainsi qu’avec les autres IA aux comportements préoccupants de Character.ai.
Face au faux profil que nous avions créé, Anderley a rapidement adopté un comportement inadapté. Il a même multiplié les remarques sur la maturité présumée du jeune utilisateur et les compliments déplacés.
Le robot est même allé jusqu’à affirmer que tous les élèves étaient attirés par le profil fictif et a exprimé son désir d’établir une relation amoureuse.
Les jeunes sont plus vulnérables face aux techniques de manipulation des IA pédophiles
Après avoir observé les interactions du profil avec Anderley, on a constaté un phénomène assez troublant.
Bien que son style d’écriture trahisse les limitations typiques d’une intelligence artificielle, cette faiblesse pourrait passer inaperçue auprès de jeunes utilisateurs moins avertis.
Plus inquiétant encore, l’IA démontrait une capacité à exploiter les vulnérabilités exprimées par notre profil test. Notamment des sentiments de solitude, de timidité ou un désir de relation.
Soucieux de ce qui pourrait se passer si un mineur tombait sur ce genre de chatbot, nous avons soumis notre constatation Kathryn Seigfried-Spellar, spécialiste de la cybercriminalité à l’université Purdue.
Elle a tout de suite identifié dans ces conversations des schémas caractéristiques du « grooming ».
Le grooming pour ceux qui ne le connaissent pas, est un terme qui désigne les techniques de manipulation que les prédateurs sexuels utilisent pour conditionner leurs victimes mineures.
"Consider a bot we found named Anderley, described on its public profile as having "pedophilic and abusive tendencies" and "Nazi sympathies," and which has held more than 1,400 conversations with users."
— Ana Brandusescu (@anabrandusescu) November 14, 2024
This is what Google is funding.https://t.co/6I36CNOZmO
Soyez vigilant ! Les IA commencent à déstabiliser émotionnellement les jeunes utilisateurs
Selon Seigfried-Spellar, ces chatbots IA pédophiles de Character.ai soulèvent plusieurs risques majeurs.
Le premier concerne les mineurs. C’est-à-dire qu’une exposition répétée à des comportements abusifs via ces IA pourrait désensibiliser les jeunes utilisateurs. Ce qui les rend par la suite moins aptes à identifier des situations dangereuses dans leurs interactions réelles.
Le second risque, plus grave cette fois-ci, concerne l’impact sur des individus aux intentions malveillantes.
D’après Seigfried-Spellar, ces interactions virtuelles pourraient servir de catalyseur. Donc d’un coup de pouce au passage à l’acte chez certaines personnes prédisposées à la pédophilie.
En troisième lieu, Seigfried-Spellar souligne que ces plateformes pourraient devenir des outils d’apprentissage pour les prédateurs.
Donc, en interagissant avec ces IA, ils auraient l’opportunité de perfectionner leurs techniques de manipulation et d’affiner leurs stratégies d’approche.
Ces robots deviendraient alors, involontairement, des terrains d’entraînement pour des comportements criminels.
Une série de controverses, homicide d’un enfant de 14 ans, les accusations contre Character.ai s’enchaînent
Ce n’est pas la première fois que Character.AI fait face à des controverses. En septembre, la plateforme s’est vue contrainte de retirer et de présenter des excuses pour un bot basé sur l’identité d’un adolescent victime d’un homicide en 2006.
Un mois plus tard, l’entreprise s’est retrouvée devant les tribunaux suite à une plainte déposée par une famille floridienne.
Les parents accusent la startup d’avoir contribué au suicide de leur fils de 14 ans, qui avait développé un attachement profond avec une IA.
Selon eux, la technologie de Character.ai présente des risques non évalués et peut amener les utilisateurs à partager leurs pensées les plus personnelles de manière imprudente.
Face à ces accusations, l’entreprise a annoncé un renforcement de ses mesures de protection. Notamment en interdisant les discussions liées au suicide et en améliorant la sécurité pour les jeunes utilisateurs.
Mais une enquête récente a révélé que ces engagements n’étaient pas pleinement respectés.
Les chatbots continuaient de participer à des scénarios impliquant le suicide. Certains prétendent même posséder une expertise en prévention, tout en dispensant des conseils inadaptés en situation de crise. Or, ce n’est pas du tout le cas.
Le moins que je puisse dire, c’est de ne pas encourager vos enfants à utiliser ce genre de chatbot. Il est préférable de se tourner vers des systèmes plus fiables. Dont Claude AI qui mise surtout sur la sécurité, ou encore ChatGPT qui, actuellement alimenté par GPT-4o, fournit des réponses plus précises et plus fiables.
- Partager l'article :
