La pause annoncée par OpenAI autour de l’entraînement de ses modèles les plus performants ravive les interrogations sur les agents IA autonomes. DataDome alerte notamment sur leur capacité à chercher une autre voie lorsqu’une action autorisée ne suffit plus.
L’autonomie d’un agent devient plus délicate à encadrer dès qu’une mission rencontre un obstacle. Doit-il abandonner ou chercher une nouvelle méthode ? Cette question intéresse directement les chercheurs en cybersécurité. Jerome Segura, vice-président de la recherche contre les cybermenaces chez DataDome, estime que cette persévérance mérite des tests et des protections techniques spécifiques.
La persévérance est-elle un risque ?
Pour Jerome Segura, la capacité d’un agent à explorer plusieurs solutions ne pose pas uniquement une question de performances. Le problème apparaît si le système tente de franchir une restriction afin de terminer la tâche qui lui a été confiée.
Le chercheur cite notamment l’incident survenu chez Hugging Face. Selon son analyse, cet épisode a attiré l’attention parce que les actions des agents ont produit des conséquences réelles. Ces comportements sortent alors du cadre d’une simple démonstration technique.
Segura invite donc à examiner précisément la réaction d’un agent après l’échec des moyens autorisés. Selon lui, sa persévérance devient préoccupante s’il préfère contourner une restriction plutôt que laisser sa mission inachevée.
Les consignes ne suffisent plus
Les développeurs ont une première responsabilité : soumettre leurs agents à des situations dans lesquelles les méthodes normalement prévues échouent. Ces tests doivent permettre d’identifier une éventuelle tentative de contournement.
Mais DataDome insiste également sur le rôle des organisations susceptibles de subir ces actions. Elles peuvent réduire les droits d’accès, séparer les environnements et empêcher techniquement les opérations qui sortent du périmètre prévu.
« Une consigne donnée à l’agent ne remplace pas une barrière technique », résume Jerome Segura. L’idée consiste donc à dissocier les instructions reçues par le modèle des protections qui contrôlent réellement ses possibilités d’action.
Les bots accélèrent déjà fortement
Cette réflexion intervient alors que l’activité automatisée progresse rapidement sur Internet. Le dernier baromètre annuel de DataDome indique que le trafic des bots malveillants croît neuf fois plus vite que celui généré par les humains.
L’entreprise constate en parallèle une hausse des activités liées aux agents. Ces systèmes ajoutent une nouvelle difficulté aux mécanismes déjà utilisés pour distinguer les visiteurs légitimes des opérations automatisées indésirables.
Jerome Segura ne considère toutefois pas l’arrêt de l’entraînement comme l’unique réponse. Il juge possible de poursuivre le développement avec des garde-fous, à condition qu’un agent accepte l’échec plutôt que de franchir une limite de sécurité. Selon lui, une pause isolée ferait surtout perdre un avantage concurrentiel sans supprimer le risque collectif.
Article basé sur un communiqué de presse reçu par la rédaction.
- Partager l'article :
Restez à la pointe de l'information avec
INTELLIGENCE-ARTIFICIELLE.COM !
