Policy Gradient
Le terme Policy Gradient, ou gradient de politique en français, désigne une catégorie d’algorithmes d’apprentissage par renforcement qui optimisent directement une politique paramétrée. Plutôt que d’apprendre une fonction de valeur pour ensuite en déduire une politique, les méthodes de Policy Gradient ajustent les paramètres d’une politique en suivant l’estimation du gradient de la performance attendue par rapport à ces paramètres. L’objectif est de trouver la politique qui maximise une mesure de performance, typiquement la récompense cumulée attendue au fil du temps.
Les concepts fondamentaux sous-jacents aux méthodes de Policy Gradient sont essentiels pour leur compréhension. Au cœur de ces méthodes se trouve la « politique » (policy), qui est une fonction mappant les états de l’environnement aux actions que l’agent doit entreprendre. Cette politique est dite « paramétrée » car elle est définie par un ensemble de paramètres, souvent notés thêta (θ). Par exemple, dans le contexte de l’apprentissage profond, ces paramètres peuvent être les poids et les biais d’un réseau de neurones. La politique peut être stochastique, produisant une distribution de probabilité sur les actions possibles, ou déterministe, spécifiant une action unique pour un état donné.
L’optimisation de cette politique se fait par rapport à une « fonction objectif », généralement notée J(θ). Cette fonction mesure la qualité de la politique : l’objectif est de trouver les paramètres θ qui maximisent J(θ). La mesure la plus courante est l’espérance du retour total, c’est-à-dire la somme des récompenses futures (potentiellement pondérées par un facteur d’actualisation gamma) qu’un agent peut espérer obtenir en suivant la politique θ à partir d’un état initial.
Le principe clé est d’utiliser une méthode d’optimisation par descente de gradient (ou plutôt, montée de gradient puisque l’on maximise une récompense). Pour cela, il faut calculer le « gradient de la politique », c’est-à-dire le vecteur des dérivées partielles de la fonction objectif J(θ) par rapport à chaque paramètre de la politique θ. Le « théorème du Policy Gradient » fournit une expression analytique pour ce gradient qui ne dépend pas de la connaissance de la dynamique de l’environnement (les probabilités de transition entre états), ce qui est un avantage majeur. Ce théorème relie le gradient de la performance attendue au gradient du logarithme de la politique, pondéré par une mesure de la qualité des actions, comme la récompense cumulée ou la fonction d’avantage.
L’estimation de ce gradient à partir des données collectées (trajectoires d’états, actions, récompenses) est une étape cruciale. L’algorithme REINFORCE, ou Monte Carlo Policy Gradient, est l’une des premières et des plus simples implémentations. Il estime le gradient en utilisant des trajectoires complètes d’expérience et en multipliant le gradient du log-probabilité de l’action par le retour total obtenu lors de cette trajectoire. Cependant, cette estimation peut avoir une variance très élevée, ce qui ralentit l’apprentissage.
Pour pallier ce problème de variance, une technique courante est l’introduction d’une « baseline » (ligne de base). La baseline est une fonction qui est soustraite du retour dans l’estimation du gradient. Si la baseline est bien choisie (par exemple, une estimation de la fonction de valeur de l’état), elle peut réduire significativement la variance du gradient sans introduire de biais, accélérant ainsi la convergence et améliorant la stabilité de l’apprentissage. La fonction d’avantage (Advantage function), qui compare la valeur d’une action à la valeur moyenne des actions dans un état donné, est une forme populaire de baseline.
L’importance des méthodes de Policy Gradient dans le domaine de l’apprentissage par renforcement est considérable. Elles offrent une approche directe pour l’apprentissage de politiques, ce qui est particulièrement pertinent dans des situations où les méthodes basées sur la valeur (Value-Based methods) rencontrent des difficultés. Par exemple, les Policy Gradients peuvent gérer nativement des espaces d’actions continus (comme le contrôle précis d’un bras robotique) ou des espaces d’actions de très grande dimension, où calculer le maximum sur toutes les actions pour déduire une politique à partir d’une fonction de valeur serait coûteux voire impossible.
De plus, les algorithmes de Policy Gradient ont des propriétés de convergence théorique plus robustes dans certains cas, tendant à converger vers des optima locaux de la fonction objectif, ce qui est souvent une solution satisfaisante en pratique. Elles permettent également d’apprendre des politiques stochastiques de manière naturelle. Une politique stochastique peut être optimale dans des environnements partiellement observés ou lorsque l’exploration est cruciale. L’impact de ces méthodes s’est étendu à de nombreux domaines, propulsant des avancées significatives en intelligence artificielle, notamment avec l’essor de l’apprentissage par renforcement profond (Deep Reinforcement Learning).
Les applications pratiques des méthodes de Policy Gradient sont variées et en pleine expansion. En robotique, elles sont utilisées pour enseigner aux robots des tâches complexes telles que la locomotion (marcher, courir, sauter), la manipulation d’objets, ou la navigation autonome. Par exemple, un robot bipède peut apprendre à marcher en ajustant les paramètres d’une politique qui contrôle ses moteurs, en maximisant une récompense basée sur la distance parcourue sans tomber.
Dans le domaine des jeux vidéo, les agents basés sur les Policy Gradients ont atteint des performances surhumaines dans des jeux complexes comme Go (AlphaGo), Dota 2 (OpenAI Five), ou StarCraft II (AlphaStar), bien que ces systèmes combinent souvent plusieurs techniques d’apprentissage. Ces algorithmes apprennent des stratégies sophistiquées en jouant des millions de parties contre eux-mêmes ou d’autres agents.
Au-delà de la robotique et des jeux, les Policy Gradients trouvent des applications dans l’optimisation de systèmes de recommandation, où la politique décide quel contenu présenter à un utilisateur pour maximiser l’engagement à long terme. En finance, ils peuvent être utilisés pour développer des stratégies de trading algorithmique. Dans l’industrie, ils servent à optimiser des processus de fabrication ou des chaînes logistiques. Même certains aspects de la conduite autonome, comme la prise de décision de haut niveau (par exemple, quand changer de voie), peuvent être modélisés et appris à l’aide de ces techniques.
Il existe de nombreuses nuances et variations des algorithmes de Policy Gradient, chacune cherchant à améliorer certains aspects comme la stabilité, l’efficacité de l’échantillonnage ou la facilité d’implémentation.
L’algorithme REINFORCE, déjà mentionné, est une méthode de Monte Carlo simple mais qui souffre d’une variance élevée dans l’estimation du gradient car elle utilise le retour complet d’une trajectoire pour évaluer chaque action.
Les algorithmes Actor-Critic représentent une famille importante qui combine les Policy Gradients avec l’apprentissage d’une fonction de valeur. L’ « acteur » est la politique qui décide des actions, et le « critique » est une fonction de valeur (souvent une fonction de valeur état-action Q(s,a) ou une fonction de valeur d’état V(s)) qui évalue ces actions. Le critique fournit un signal d’apprentissage de meilleure qualité (moins de variance) à l’acteur. Des variantes populaires incluent A2C (Advantage Actor-Critic) et A3C (Asynchronous Advantage Actor-Critic), qui utilise l’avantage comme signal pour l’acteur et explore l’exécution asynchrone de plusieurs agents pour dé-corréler les données d’expérience.
Pour les environnements avec des espaces d’actions continus, le DPG (Deterministic Policy Gradient) a été développé. Contrairement aux Policy Gradients stochastiques classiques, DPG apprend une politique déterministe directement. Sa version profonde, DDPG (Deep Deterministic Policy Gradient), combine DPG avec des réseaux de neurones profonds et des techniques issues du DQN (Deep Q-Network), comme les réseaux cibles et les replay buffers, pour stabiliser l’apprentissage.
D’autres méthodes se concentrent sur l’amélioration de la stabilité des mises à jour de la politique. TRPO (Trust Region Policy Optimization) garantit que les mises à jour de la politique ne la modifient pas trop drastiquement, en la maintenant dans une « région de confiance » où l’approximation de l’amélioration de la performance est valable. PPO (Proximal Policy Optimization) atteint des objectifs similaires à TRPO mais avec une implémentation plus simple, souvent via une fonction objectif « clippée » ou une pénalité KL adaptative. PPO est devenu l’un des algorithmes de Policy Gradient par défaut dans de nombreuses applications en raison de son bon équilibre entre performance, complexité et facilité d’utilisation.
Les politiques apprises peuvent être stochastiques (produisant une distribution de probabilités sur les actions) ou déterministes (choisissant une action unique). Les Policy Gradients classiques (comme REINFORCE, A2C) apprennent naturellement des politiques stochastiques. Celles-ci sont avantageuses pour l’exploration et dans les cas où l’optimalité requiert une certaine part d’aléatoire. Les politiques déterministes, apprises par des algorithmes comme DPG, peuvent être plus efficaces en termes d’échantillonnage dans certains contextes, en particulier pour les actions continues, mais peuvent nécessiter des mécanismes d’exploration externes (par exemple, ajout de bruit aux actions).
Pour une compréhension holistique, il est utile de situer les Policy Gradients par rapport à d’autres concepts. Ils font partie intégrante du domaine plus large de l’apprentissage par renforcement (Reinforcement Learning, RL), qui s’intéresse à la manière dont un agent peut apprendre à prendre des décisions optimales par essais et erreurs dans un environnement.
Les « fonctions de valeur » (Value Functions), telles que la fonction de valeur d’état V(s) (valeur attendue d’être dans l’état s) ou la fonction de valeur état-action Q(s,a) (valeur attendue de prendre l’action a dans l’état s), sont centrales dans de nombreuses méthodes de RL. Alors que les Policy Gradients peuvent utiliser des fonctions de valeur (comme dans les Actor-Critic), leur objectif principal est d’optimiser directement la politique.
Les « méthodes basées sur la valeur » (Value-Based Methods), comme le Q-Learning ou SARSA, constituent une approche alternative (et parfois considérée comme antonymique dans la classification des algorithmes de RL). Ces méthodes se concentrent sur l’apprentissage précis d’une fonction de valeur optimale, et la politique est ensuite dérivée implicitement ou explicitement de cette fonction de valeur (par exemple, en choisissant l’action qui maximise Q(s,a)). Les Policy Gradients, en revanche, apprennent la politique explicitement.
Les « algorithmes Actor-Critic » sont étroitement liés car ils hybrident les approches de Policy Gradient (l’acteur) et les approches basées sur la valeur (le critique). Ils tirent parti des avantages des deux.
Le dilemme « exploration vs. exploitation » est fondamental en RL. L’agent doit explorer de nouvelles actions pour découvrir de meilleures stratégies, mais aussi exploiter ses connaissances actuelles pour obtenir des récompenses. Les politiques stochastiques apprises par les Policy Gradients facilitent intrinsèquement l’exploration.
Enfin, la plupart des problèmes d’apprentissage par renforcement sont formalisés à l’aide de « Processus de Décision Markoviens » (MDP), qui fournissent le cadre mathématique décrivant l’environnement, les états, les actions, les transitions et les récompenses. Les théories et les algorithmes de Policy Gradient sont développés dans ce cadre.
L’origine des méthodes de Policy Gradient remonte aux années 1980 et au début des années 1990. L’algorithme REINFORCE, proposé par Ronald J. Williams en 1992, est l’une des premières formulations claires d’un algorithme de Policy Gradient basé sur l’estimation de Monte Carlo. Cependant, c’est le travail de Richard S. Sutton et de ses collaborateurs à la fin des années 1990 et au début des années 2000 qui a solidifié les fondations théoriques, notamment avec la dérivation du théorème du Policy Gradient. Ce théorème a fourni une base solide pour le développement de nombreux algorithmes ultérieurs. L’avènement de l’apprentissage profond (Deep Learning) au cours des années 2010 a marqué une nouvelle ère, donnant naissance aux « Deep Policy Gradients ». La capacité des réseaux de neurones profonds à approximer des politiques complexes à partir de données brutes de haute dimension (comme les images d’un jeu vidéo) a permis des avancées spectaculaires et des applications à des problèmes auparavant insolubles.
Les méthodes de Policy Gradient présentent plusieurs avantages distincts. Leur capacité à opérer efficacement dans des espaces d’actions continus ou de très grande dimension est un atout majeur. Elles tendent à avoir de bonnes propriétés de convergence, trouvant souvent des optima locaux satisfaisants. De plus, elles peuvent apprendre des politiques stochastiques de manière naturelle, ce qui est bénéfique pour l’exploration et dans les environnements où une part d’aléatoire est nécessaire pour une performance optimale. L’apprentissage direct de la fonction de politique est parfois plus simple ou plus direct que de passer par l’intermédiaire d’une fonction de valeur.
Cependant, ces méthodes ne sont pas exemptes d’inconvénients et de défis. L’un des problèmes les plus notables est la haute variance des estimations du gradient, en particulier pour les algorithmes de Monte Carlo comme REINFORCE. Cette variance peut rendre l’apprentissage lent et instable, nécessitant un grand nombre d’échantillons. Bien que les algorithmes de Policy Gradient convergent généralement vers un optimum local, il n’y a aucune garantie qu’ils atteignent l’optimum global. Leur performance peut également être très sensible au choix des hyperparamètres, tels que le taux d’apprentissage, la taille des batchs, l’architecture du réseau de politique, ou le facteur d’actualisation.
De nombreux algorithmes de Policy Gradient fondamentaux, comme REINFORCE et A2C, sont « on-policy ». Cela signifie que les données utilisées pour mettre à jour la politique doivent avoir été collectées en utilisant la version la plus récente de cette même politique. Par conséquent, après chaque mise à jour, les anciennes données d’expérience doivent être jetées, ce qui peut rendre ces méthodes inefficaces en termes d’échantillonnage (sample inefficient), car elles nécessitent constamment de nouvelles interactions avec l’environnement. Des algorithmes plus récents comme PPO tentent de surmonter cette limitation en permettant plusieurs époques d’optimisation sur les mêmes données ou en utilisant des techniques d’importance sampling.
Parmi les défis persistants figurent l’amélioration de l’efficacité de l’échantillonnage, car les Policy Gradients peuvent nécessiter beaucoup plus d’interactions avec l’environnement que certaines méthodes basées sur la valeur pour atteindre des performances comparables. Assurer la stabilité de l’apprentissage, surtout lorsque des approximateurs de fonction complexes comme les réseaux de neurones profonds sont utilisés, reste un domaine de recherche actif. Le choix et la conception d’une baseline efficace pour réduire la variance sont cruciaux mais pas toujours triviaux. Enfin, bien que les politiques stochastiques aident à l’exploration, garantir une exploration suffisante et efficace dans des espaces d’états et d’actions vastes et complexes demeure un défi majeur pour tous les algorithmes d’apprentissage par renforcement, y compris les Policy Gradients.
En conclusion, les méthodes de Policy Gradient constituent une pierre angulaire de l’apprentissage par renforcement moderne. Elles offrent une approche puissante et flexible pour l’apprentissage direct de politiques, avec des applications transformatrices dans de nombreux domaines. Malgré certains défis liés à la variance et à l’efficacité de l’échantillonnage, la recherche continue produit des algorithmes de plus en plus robustes et performants, élargissant constamment le champ des possibles pour les agents autonomes intelligents.