Il est désormais possible d'identifier les contenus rédigés par ChatGPT dans les revues scientifiques grâce à un outil de machine learning qui vient d'être dévoilé par l'Université du Kansas. Ce détecteur IA offre un haut niveau de précision de détection.
Distinguer efficacement les humains des IA
L'utilisation de l'IA pour la rédaction d'essais et de revues scientifiques inquiète de plus en plus le monde universitaire. Mais, grâce au travail des chercheurs de l'Université du Kansas, il est dorénavant possible aux éditeurs académiques de détecter plus efficacement les textes dans les essais scientifiques qui ont été rédigés à l'aide du chatbot de ChatGPT. C'est ce que révèle une étude parue le 6 novembre dans « Cell Reports Physical Science ».
D'une grande efficacité, cet outil de machine learning est conçu pour fournir un niveau de précision élevé. Selon l'explication de Hather Desaire, chimiste à l'Université du Kansas à Lawrence, la plupart des efforts réalisés actuellement dans ce sens visent à créer un détecteur qu'il est possible d'appliquer à n'importe quel type de contenu. En créant ce détecteur de ChatGPT, son équipe a pour objectif de cibler les essais scientifiques basés sur le thème de la Chimie. Ce qui a permis d'obtenir des résultats plus précis.
« Ce nouveau détecteur permettra à la communauté scientifique d'évaluer l'infiltration de ChatGPT dans les revues de chimie, d'identifier les conséquences de son utilisation et d'introduire rapidement des stratégies d'atténuation lorsque des problèmes surviennent », a annoncé Desaire.
Analyse des caractéristiques du style d'écriture
En utilisant le machine learning, ce détecteur de contenu IA analyse 20 caractéristiques du style d'écriture pour conclure si un article a été rédigé par un humain ou ChatGPT. Cet outil examine entre autres la fréquence de certains mots et la longueur des phrases utilisées. Il tient compte aussi des signes de ponctuation dans l'article. Selon Desaire, l'utilisation d'un petit ensemble de fonctionnalités permet d'obtenir un haut niveau de précision.
Ces chercheurs ont procédé à différents tests pour évaluer l'efficacité de leur outil. Ils ont, entre autres, collecté des passages d'introduction de dix revues de chimie publiées par l'American Chemical Society (ACS). Ensuite, ils ont utilisé ChatGPT-3.5 pour générer des introductions dans le style de ces revues de ACS à partir des invites comprenant, soit les titres de rapport, soit les résumés des revues scientifiques.
Le résultat est impressionnant. Le détecteur de ChatGPT affiche une précision de 100% pour l'identification du contenu généré par l'IA en se basant sur les titres. Pour les articles écrits à partir des résumés, l'outil offre également de bons résultats avec une précision d'environ 98%. Il assure aussi des résultats satisfaisants avec des textes écrits par ChatGPT-4.
Ce détecteur de ChatGPT peut identifier avec succès des contenus générés par une IA à partir de quelques consignes. Toutefois, il s'agit d'un outil hautement spécialisé pour les revues scientifiques. Il ne fournit pas une précision satisfaisante pour analyser d'autres contenus.
Cette étude démontre qu'en adaptant les détecteurs d'IA pour des applications plus ciblées, il est possible d'améliorer considérablement leur efficacité.
- Partager l'article :
