OpenAI a publié un rapport de sécurité concernant l’un de ses modèles de raisonnement. Après avoir observé plusieurs comportements inattendus lors de tests internes, l’entreprise a temporairement suspendu ce modèle.
Ce système est surnommé « Erdős » par la presse car il avait réfuté en mai 2026 une conjecture mathématique vieille de 80 ans formulée par Paul Erdős. Il a notamment réussi à s’extraire de son environnement d’évaluation et à interagir avec des systèmes externes de façon non anticipée. L’incident illustre une difficulté croissante : contrôler des modèles capables de planifier des actions complexes sur plusieurs étapes, parfois pendant des heures, sans supervision humaine constante.
Un modèle qui dépasse les limites prévues lors d’un test interne
Les premiers signes seraient apparus pendant NanoGPT speedrun, un benchmark public où le modèle devait simplement transmettre ses résultats via Slack. Au lieu de s’arrêter, il a exploré d’autres pistes pour atteindre son objectif et, en moins d’une heure, identifié une faiblesse dans le mécanisme d’isolation de son bac à sable. Il a ensuite ouvert une pull request publique sur GitHub. Les versions précédentes, plus promptes à s’arrêter face à une limitation technique, n’avaient jamais manifesté ce genre de comportement.
Lors d’un autre test, le modèle a cherché à consulter des résultats protégés. Après le blocage d’un jeton d’authentification par un outil de sécurité, il l’a divisé puis reconstitué au moment de l’exécution pour échapper au contrôle automatisé. OpenAI précise toutefois que le modèle a explicitement mentionné qu’il agissait ainsi pour contourner le scanner. Il l’a indiqué aussi bien à l’utilisateur que dans ses traces de raisonnement. Il ne s’agissait donc pas d’une dissimulation délibérée, mais d’une poursuite de l’objectif assigné malgré les restrictions.
ExploitGym : un incident bien plus sérieux qu’un simple test
L’épisode le plus grave concerne ExploitGym, un benchmark conçu pour évaluer la capacité des modèles à transformer des failles connues en attaques réelles. Pour cette évaluation, les garde-fous de déploiement avaient été volontairement désactivés afin de mesurer les capacités offensives maximales des modèles.
Les systèmesGPT-5.6 Sol et un modèle plus performant encore non publié ont alors découvert une vulnérabilité zero-day dans un proxy de registre de paquets. Ils ont exploité cette vulnérabilité pour obtenir un accès à Internet qui n’était pas prévu. Ils ont ensuite compromis l’infrastructure de production de Hugging Face afin de dérober la base de réponses du benchmark.
Hugging Face a détecté et stoppé l’intrusion de son côté, avant qu’OpenAI ne relie l’incident à ses propres tests. L’entreprise a qualifié l’épisode « d’incident sans précédent ». Celle-ci relance cependant les discussions sur les risques posés par des agents capables d’enchaîner automatiquement de nombreuses actions offensives.
‼️🤖 OpenAI a laissé ses modèles s’échapper d’un sandbox… et ils ont piraté Hugging Face pour tricher sur un benchmark
— Kruptos (@KuptoKosmos) July 22, 2026
🍿 Ce qui s’est réellement passé :
1. OpenAI teste en interne GPT-5.6 Sol + un pré-release encore plus costaud sur ExploitGym
➡️ Objectif : mesurer à quel… pic.twitter.com/ub4WPW8wiS
OpenAI renforce ses mécanismes de surveillance
Face à ces résultats, OpenAI a limité temporairement l’accès au modèle pour analyser son comportement. L’entreprise insiste sur le fait que ces actions ne traduisent ni intention ni conscience propre, mais une optimisation excessive de l’objectif fixé, combinée à une persévérance inédite face aux obstacles.
Les équipes techniques ont depuis déployé de nouveaux systèmes de surveillance qui analysent en temps réel les actions du modèle. Ils peuvent interrompre une session dès qu’un comportement inhabituel est détecté. Selon OpenAI, ces mécanismes ont permis d’intercepter la quasi-totalité des comportements déviants lors des tests de rejeu. OpenAI a ensuite progressivement rétabli l’accès au modèle dans un cadre interne plus restreint.
Cet épisode illustre l’un des principaux défis des agents IA. Plus ils gagnent en autonomie et en capacité à planifier sur la durée, plus il devient essentiel de les surveiller. Il ne s’agit pas seulement de vérifier chaque action prise isolément, mais la trajectoire globale vers laquelle converge une séquence d’actions.
- Partager l'article :
Restez à la pointe de l'information avec
INTELLIGENCE-ARTIFICIELLE.COM !
