OpenAI a récemment lancé de nouveaux modèles d’IA, dont o1, o4-mini et o3 qui disposerait d’une meilleure capacité de raisonnement. La start-up a même vanté o1 comme un modèle pouvant surpasser un doctorant dans la résolution des problèmes mathématiques. Et bien sûr, ChatGPT, après mise à jour, a gagné en intelligence, mais il représente toujours un danger. Cela dit, il n’est toujours pas exempt d’hallucinations, surtout le modèle o3.
En parlant d’OpenAI o3, il affiche un taux d’erreur de deux fois plus que le modèle o1 dans les tests qui impliquent des personnalités publiques.
Quant à o4-mini, un modèle plus compact, ses hallucinations sont encore pires, avec un taux d’erreur de 48 % sur les mêmes tests.
Les performances de ChatGPT se déclinent sur les tests de connaissances générales
Les modèles o3 et o4-mini ont également subi des tests de connaissances générales sur le benchmark SimpleQA.
Et sans surprise, les deux modèles ont respectivement atteint un score de 51 et de 79 %. Je qualifierai même cette perte de performance de crise d’identité des deux modèles.
À vrai dire, plus un modèle gagne en performance, plus il devrait être capable de vérifier ses réponses avant de les générer.
Pourtant, ce n’est pas du tout le cas pour les modèles o3 et o4-mini. Chez OpenAI, plus un modèle tente de raisonner, plus il se perd dans son raisonnement.
C’est ce qui différencie les modèles comme o3 et o4-mini des autres modèles comme GPT-4o dont la mise à jour a été annulée récemment.
La théorie des chercheurs par rapport à ce déraillement des modèles o3 et o4-mini d’OpenAI, c’est que le chemin qu’ils parcourent avant de générer leurs réponses passe par l’évaluation des possibilités.
Il y a en premier lieu l’évaluation des possibilités de réponses, mais aussi le rapprochement des faits.
Résultat : les modèles improvisent leurs réponses au lieu de fournir des réponses pertinentes qui entrent dans le cadre de la réalité.
Ce qui veut dire en d’autres termes qu’au lieu de donner de vraies réponses, ChatGPT a tendance à inventer ses réponses.
[ISLAM] Le danger d'utiliser ChatGPT pour apprendre/réviser le Din
Story d'ustadh Yacine (snap: prof_yacine) pic.twitter.com/OlBpAvkZbw— ✪ Herr Yasser ⵣⵛ {ⵢⴰⵙⵙⴻⵔ} (@Maghriibiii) March 30, 2025
Les utilisateurs pris au piège par les réponses fictives de ChatGPT
D’après les déclarations d’OpenAI, il y a une explication à l’augmentation des hallucinations de ChatGPT. Et ce n’est pas à cause de la dégradation des modèles.
« ChatGPT peut devenir audacieux et plus verbeux dans ses réponses. Et il peut effectivement spéculer des possibilités tout en répétant des faits prévisibles », indique OpenAI.
Le problème, c’est que malgré les vanteries d’OpenAI, et de ses concurrents d’ailleurs, les modèles d’IA actuels avancent plus vers un autre chemin que prévu.
Et à force d’halluciner, on ne considérera pus ces chatbots IA d’assistants, mais plutôt d’outils dangereux pour les utilisateurs.
Comme le cas de certains avocats qui ont eu des ennuis justement parce que ChatGPT leur a fourni des réponses imaginaires.
Le moins que je puisse dire, c’est de faire attention quand vous utilisez ChatGPT. N’hésitez donc pas à vérifier chaque réponse avant de les utiliser.
Restez à la pointe de l'information avec INTELLIGENCE-ARTIFICIELLE.COM !
- Partager l'article :
