L’utilisation de l’intelligence artificielle dans le domaine de la protection de l’enfance vient de subir un coup dur. L’agence de protection de l’enfance de Victoria a ordonné l’interdiction des services d’IA générative après qu’un travailleur ait utilisé ChatGPT dans une affaire judiciaire. Cette décision a suscité de vives réactions.
L’enquête révèle que le travailleur en question a saisi d’importantes informations personnelles dans ChatGPT. Cela inclut le nom d’un enfant à risque. Le ministère des Familles, de l’Équité et du Logement a rapidement signalé l’incident au Bureau du Commissaire à l’information de Victoria (Ovic). Ce dernier a confirmé que le rapport concerné contenait des informations inappropriées et inexactes.
Le rapport d’Ovic souligne que certaines informations dans le document minimisaient la gravité des accusations. Par exemple, une poupée utilisée prétendument à des fins sexuelles a été décrite comme un « jouet adapté à l’âge ». Ce genre de déformation de la réalité a le potentiel d’influencer les décisions prises pour la protection de l’enfant. Heureusement, l’enquête a montré que ce rapport n’a pas impacté la décision finale du tribunal.
L’enquête a révélé que le travailleur en question n’était pas le seul suspect. Environ 900 employés avaient accédé à ChatGPT entre juillet et décembre 2023. Cela représente près de 13 % de l’effectif total du département. Cependant, aucun autre cas n’a eu un impact aussi critique que le rapport initial. Malgré cela, l’utilisation d’un tel outil dans un contexte aussi sensible pose un réel problème.
Suite à ces révélations, Ovic a ordonné le blocage des adresses IP et des domaines de plusieurs sites d’IA. Cela inclut ChatGPT, Meta AI, Gemini et Copilot. Cette interdiction durera deux ans, à partir du 5 novembre. Le ministère a accepté cette décision et s’est engagé à la mettre en œuvre. De ce fait, le travailleur impliqué ne travaille plus pour l’agence.
Des justifications inadéquates
Le travailleur a admis avoir utilisé ChatGPT pour générer le rapport. Il a justifié son acte par le besoin de gagner du temps et de présenter son travail de manière plus professionnelle. Cependant, il a nié avoir saisi des informations personnelles. Des collègues ont confirmé qu’il avait montré comment utiliser ChatGPT en saisissant les noms des clients. Ces actions, même si elles visaient à simplifier le travail, soulèvent des questions éthiques et de confidentialité.
L’utilisation d’outils d’IA dans des secteurs sensibles comme la protection de l’enfance demande une grande prudence. Ovic a reconnu qu’il pourrait y avoir des utilisations appropriées de l’IA générative à l’avenir. Cependant, il a souligné que des preuves solides et des normes de sécurité très élevées seront nécessaires avant toute réintroduction de ces outils.
Des mesures nécessaires pour préserver la confiance
Cette affaire a mis en lumière les risques potentiels associés à l’utilisation de l’IA générative dans des contextes sensibles. Le régulateur a insisté sur le fait que toute demande de modification des restrictions actuelles devra s’accompagner de garanties solides. La protection de l’enfance exige des mesures exceptionnelles. Et l’IA, malgré ses avantages, doit être utilisée de manière responsable.
Cette interdiction marque un tournant pour l’utilisation de l’IA dans la protection de l’enfance. Le ministère doit désormais revoir ses protocoles et mettre en place des mesures strictes pour s’assurer que ce type d’incident ne se reproduise pas.
Ainsi, bien que l’IA représente un formidable outil d’innovation, cette affaire démontre l’importance de la vigilance et de la responsabilité. Le débat sur l’utilisation de l’IA dans les services publics ne fait que commencer.
- Partager l'article :
