Le deep reinforcement learning ou DRL combine les réseaux de neurones profonds avec l’apprentissage par essais et erreurs. Et l’ensemble permet la création d’agents capables de maîtriser des tâches complexes. Cette discipline a permis des percées majeures en jeux vidéo, robotique et systèmes de décision autonomes depuis 2013.
Le 9 décembre 2013, DeepMind publie dans Nature l’article fondateur sur le Deep Q-Network (DQN). Il s’agit du premier algorithme combinant l’apprentissage par renforcement avec des réseaux convolutifs profonds. Sa publication marque la naissance du deep reinforcement learning comme filière autonome. Et l’algorithme atteint des résultats supérieur aux capacités humaines sur 49 jeux Atari en apprenant directement depuis les pixels bruts. Google rachète DeepMind pour 400 millions de livres sterling en janvier 2014, validant la valeur de cette technologie sur une stratégie définie.
TL;DR
- Le deep reinforcement learning allie réseaux de neurones profonds et apprentissage par récompenses. Et il résout des tâches complexes sans qu’un humain n’ait à le guider.
- L’usage en industrie couvrent la robotique manufacturière chez Tesla et Boston Dynamics, l’optimisation en énergie des datacenters Google et les systèmes de trading par algorithme.
- Le marché mondial du deep reinforcement learning a une croissance annuelle projetée de 38,4 % jusqu’en 2030, porté par la voiture autonome et l’industrie 4.0.
L’architecture du deep reinforcement learning repose sur l’interaction agent-environnement
Le cadre théorique du reinforcement learning a été formalisé par Richard Sutton et Andrew Barto dans leur ouvrage de référence publié en 1998 au MIT Press. Le deep reinforcement learning étend ce paradigme en changeant les tables de valeurs par des réseaux de neurones profonds. Et ces derniers peuvent calculer des fonctions complexes. L’agent observe l’état de l’environnement, choisi une action selon sa politique, reçoit une récompense et observe le nouvel état.
En 2017, OpenAI développe les algorithmes policy gradient comme Proximal Policy Optimization (PPO). Ils optimisent directement la politique d’action en poussant au maximum l’espérance de récompense cumulée. Les méthodes acteur-critique combinent une estimation de la fonction de valeur (critique) avec l’optimisation de la politique (acteur). De cette manière, ils peuvent fournir une convergence plus stable.
Le Trust Region Policy Optimization (TRPO), publié par John Schulman en 2015, assure des mises à jour monotones de la politique. Pour ce faire, il force la divergence KL entre anciennes et nouvelles politiques. Ces architectures exigent des millions d’interactions avec l’environnement. Et cela justifie l’usage de simulateurs en parallèle sur GPU et TPU.
Le deep reinforcement learning domine les jeux à stratégie complexes
Le 9 mars 2016, AlphaGo bat le champion mondial de go Lee Sedol par quatre victoires contre 1. L’événement est diffusé en direct devant 200 millions de spectateurs. Cette victoire a démontré la capacité de l’apprentissage par essais et erreurs à maîtriser un jeu dont les possibilités sont pratiquement infinies. Cela a rendu les méthodes de calcul habituelles totalement dépassées.
AlphaGo utilisait des systèmes d’IA inspirés du cerveau humain, entraînés en observant 30 millions de coups joués par des experts. La technologie s’est ensuite améliorée en jouant contre elle-même grâce à une méthode d’exploration intelligente des coups. AlphaZero, présenté en décembre 2017 dans Science, n’a plus besoin de l’aide humaine pour apprendre. Il atteint un niveau surhumain aux échecs en seulement 4 heures et au go en 72 heures.
OpenAI Five bat les champions du monde de Dota 2 en avril 2019 après l’équivalent de 10 000 années d’entraînement intensif sur de puissants ordinateurs à distance. MuZero, publié en novembre 2020, va encore plus loin. Il parvient à comprendre son environnement sans même avoir besoin de connaître les règles au départ.
L’usage industriel du DRL transforme la robotique et l’optimisation énergétique
Google DeepMind déploie en juillet 2016 un système de deep reinforcement learning. L’intention est d’optimiser la réduction de la chaleur dans ses centres de données. Ce système réduit l’usage d’énergie en climatisation de 40 %. Il génère aussi des économies annuelles de plusieurs dizaines de millions USD. L’algorithme observe 120 variables (température, pression, débit). Et il ajuste 3 500 réglages toutes les cinq minutes pour minimiser le Power Usage Effectiveness (PUE).
Dans la robotique de manufacture, Tesla utilise des politiques apprises par deep reinforcement learning pour l’assemblage de composants automobiles. La démarche réduit le temps de programmation des bras robotiques de plusieurs semaines à quelques heures de simulation.
Boston Dynamics intègre ensuite des contrôleurs appris par renforcement dans Atlas et Spot. Cela permet une locomotion adaptative sur terrains accidentés. Le trading par algorithme exploite le deep reinforcement learning pour optimiser l’exécution d’ordres sur des marchés financiers.
Des fonds de quantité comme Renaissance Technologies sont investis en masse dans ces technologies. Waymo et Tesla Autopilot utilisent en outre des composants de DRL pour planifier les trajectoires. Ces composants jouent aussi dans la prise de décision en conduite autonome.
Le deep reinforcement learning face à l’efficacité d’échantillonnage et de reproductibilité
Le reproducibility crisis du deep reinforcement learning a été documenté par Peter Henderson dans un article de 2018 publié à ICML. Il y démontre que 50 % des résultats publiés ne sont pas reproductibles avec les hyperparamètres indiqués. L’instabilité d’entraînement provient notamment du côté non stationnaire des données (la politique change continuellement). Cela tient aussi à la corrélation dans le temps des observations, et de la sensibilité extrême aux hyperparamètres.
Les algorithmes libres de modèles comme PPO exigent a priori 10 millions à 1 milliard d’interactions dans l’environnement pour converger. Cela rend l’apprentissage sur systèmes physiques réels limité. Les approches basées sur modèles comme Dreamer, publié en 2020 par Danijar Hafner, intègrent un modèle du monde pour planifier dans l’espace latent. L’échantillonnage en est réduit de 50 fois.
Le sim-to-real transfer demeure un problème. Les politiques apprises en simulation échouent fréquemment en conditions réelles à cause du reality gap. Les pratiques de domain randomization, ajoutés par OpenAI en 2017 randomisent les paramètres de simulation pour forcer la généralisation. Elles ne demandent pas cependant un calibrage minutieux.
Les investissements en deep reinforcement learning couvrent formation infrastructure et déploiement industriel
Le deep reinforcement learning nécessite de lourdes dépenses en infrastructure de calcul, formation spécialisée et développement d’environnements de simulation. Les coûts d’entraînement d’un agent de niveau professionnel vont jusqu’à plusieurs centaines de milliers USD en ressources cloud.
Des entreprises industries dépensent également entre 500 000 USD et 5 millions USD pour déployer des systèmes de deep reinforcement learning en production. Cela inclut la construction de jumeaux numériques et l’intégration avec systèmes existants.
| Poste / Formation | Coût estimé | Durée | Niveau |
|---|---|---|---|
| Cours Udemy Deep RL (Lazy Programmer) | 15 – 25 € | 20 heures | Débutant |
| Spécialisation Coursera RL (Alberta) | 49 USD/mois | 4 mois | Intermédiaire |
| Master IA spécialisation RL (France) | 243 – 601 €/an | 2 ans | Académique |
| Infrastructure GPU cloud (8× A100) | ~24 USD/heure | Variable | Recherche |
| Entraînement agent Dota 2 (OpenAI Five) | ~250 000 USD | 10 mois | Production |
| Déploiement industriel robotique | 500 000 – 5 M USD | 12 – 24 mois | Entreprise |
| Salaire ingénieur RL senior (UK) | 650 – 850 £/jour | Contrat | Professionnel |
Foire aux Questions
Le deep reinforcement learning peut-il fonctionner avec des récompenses partielles ou retardées ?
Oui, les algorithmes modernes comme Hindsight Experience Replay (HER) et Temporal Difference Learning gèrent explicitement les récompenses retardées en propageant l’information de récompense rétrospectivement. Les techniques de reward shaping permettent de définir des récompenses intermédiaires pour accélérer l’apprentissage sans biaiser la politique optimale finale.
Quelle est la différence entre deep reinforcement learning on-policy et off-policy ?
Les algorithmes on-policy comme PPO apprennent uniquement depuis les données générées par la politique actuelle. C’est plus cohérent, mais il faut aussi plus d’échantillons. Les méthodes off-policy comme Soft Actor-Critic (SAC) exploitent un buffer de replay contenant des transitions anciennes. Cela améliore l’efficacité d’échantillonnage de 10 à 100 fois, mais avec des risques d’instabilité.
Le deep reinforcement learning est-il compatible avec l’apprentissage multiagents ?
Absolument, le Multi-Agent Reinforcement Learning (MARL) étend le paradigme aux environnements où plusieurs agents interagissent simultanément. Les comportements émergents complexes apparaissent naturellement dans des configurations multiagents compétitives ou coopératives. OpenAI l’a démontré avec Hide and Seek en 2019.
Peut-on combiner deep reinforcement learning avec apprentissage supervisé ?
Les approches hybrides comme Imitation Learning et Behavioral Cloning pré-entraînent l’agent sur démonstrations humaines avant affinage par renforcement. AlphaGo utilisait cette stratégie en initialisant ses réseaux sur 30 millions de parties humaines. Cela a réduit le temps d’apprentissage par auto-jeu de plusieurs ordres de grandeur.
Le deep reinforcement learning nécessite-t-il obligatoirement un simulateur ?
Non, mais l’apprentissage sur systèmes physiques réels demeure limité par la lenteur des interactions et les risques de dommages matériels. Les approches model-based comme World Models apprennent un simulateur neuronal depuis données réelles. Cela permet l’entraînement dans l’espace latent avec 1 000 fois moins d’interactions physiques réelles.
Restez à la pointe de l'information avec INTELLIGENCE-ARTIFICIELLE.COM !
- Partager l'article :
