Multi-Objective Reinforcement Learning (MORL)
Le Multi-Objective Reinforcement Learning (MORL), ou Apprentissage par Renforcement Multi-Objectif, est une branche de l’apprentissage automatique et plus spécifiquement de l’apprentissage par renforcement (RL). Il étend le cadre standard du RL en permettant à un agent d’apprendre à prendre des décisions dans un environnement afin d’optimiser simultanément plusieurs objectifs, potentiellement conflictuels, plutôt qu’un unique objectif scalaire. L’objectif n’est plus de trouver une seule politique maximisant une récompense cumulée unique, mais d’identifier un ensemble de politiques qui représentent les meilleurs compromis possibles entre les différents objectifs.
Les concepts fondamentaux du MORL diffèrent de ceux du RL standard principalement par la gestion de récompenses multiples. Le cadre formel sous-jacent est souvent le Processus de Décision Markovien Multi-Objectif (MOMDP). Un MOMDP est typiquement défini par un tuple (S, A, P, R, γ), où S représente l’ensemble des états possibles de l’environnement, A l’ensemble des actions que l’agent peut entreprendre, P la fonction de transition d’état qui donne la probabilité de passer à un état suivant étant donné l’état actuel et l’action choisie, γ le facteur d’escompte qui pondère l’importance des récompenses futures par rapport aux récompenses immédiates, et R la fonction de récompense vectorielle. Contrairement au MDP classique où la récompense R(s, a, s’) est une valeur scalaire, dans un MOMDP, R(s, a, s’) est un vecteur r = [r₁, r₂, …, rk], où chaque composante rᵢ correspond à la récompense obtenue pour le i-ème objectif. L’agent vise alors à maximiser la valeur attendue de la somme escomptée de ces vecteurs de récompenses.
Étant donné que les objectifs peuvent être en conflit (l’amélioration d’un objectif peut nécessiter la dégradation d’un autre), il n’existe généralement pas de politique unique qui optimise tous les objectifs simultanément. Le MORL utilise donc le concept d’optimalité de Pareto. Une politique π est dite Pareto-dominée par une politique π’ si π’ produit des résultats au moins aussi bons que π pour tous les objectifs et strictement meilleurs pour au moins un objectif, en termes de valeur attendue des récompenses cumulées. Une politique est Pareto-optimale si aucune autre politique ne la domine. L’ensemble de toutes les politiques Pareto-optimales est appelé l’ensemble de Pareto, et l’ensemble des vecteurs de valeur correspondants (les performances attendues pour chaque objectif) constitue le front de Pareto. Le but de nombreux algorithmes MORL est de découvrir ou d’approximer cet ensemble ou ce front de Pareto.
Les fonctions de valeur traditionnelles du RL, telles que la fonction de valeur d’état V(s) (valeur attendue en partant de l’état s) et la fonction de valeur d’action Q(s, a) (valeur attendue en partant de l’état s, en prenant l’action a, puis en suivant une politique donnée), sont étendues pour devenir des fonctions de valeur vectorielles dans le cadre du MORL. Par exemple, Vπ(s) représente un vecteur dont chaque composante est la somme escomptée attendue des récompenses pour un objectif spécifique, en partant de l’état s et en suivant la politique π. L’apprentissage de ces fonctions de valeur vectorielles ou la recherche directe des politiques Pareto-optimales nécessite des algorithmes spécifiques, distincts de ceux utilisés en RL mono-objectif.
Deux grandes catégories d’approches existent pour résoudre les problèmes MORL. La première est la scalarisation, qui consiste à convertir le problème multi-objectif en un problème mono-objectif. La méthode de scalarisation la plus courante est la somme pondérée, où les différentes composantes du vecteur de récompense sont multipliées par des poids (reflétant leur importance relative) puis sommées pour obtenir une récompense scalaire unique. D’autres techniques incluent la méthode des contraintes epsilon, où un objectif est maximisé tandis que les autres sont maintenus au-dessus de seuils définis. Cependant, la scalarisation a des limites : elle nécessite souvent de définir les préférences (poids ou contraintes) a priori, et certaines approches comme la somme pondérée ne peuvent pas trouver toutes les solutions Pareto-optimales si le front de Pareto n’est pas convexe. La seconde catégorie regroupe les approches « Pareto-aware » ou « vectorielles », qui visent à calculer directement une approximation de l’ensemble de Pareto sans agréger les objectifs. Ces méthodes incluent des extensions d’algorithmes RL comme le Q-learning ou les méthodes de gradient de politique adaptées pour gérer des valeurs vectorielles, ainsi que l’utilisation d’algorithmes évolutionnaires multi-objectifs pour rechercher des politiques.
L’importance du MORL découle de sa capacité à aborder des problèmes de décision séquentielle de manière plus réaliste et nuancée. Dans le monde réel, les décisions impliquent presque toujours des compromis entre plusieurs objectifs concurrents (par exemple, performance vs sécurité, rapidité vs coût, profit vs durabilité). Le RL standard, en se concentrant sur un seul objectif agrégé, peut masquer ces compromis et conduire à des solutions qui ne sont pas satisfaisantes dans la pratique. MORL offre un cadre pour identifier explicitement ces compromis en présentant un ensemble de solutions Pareto-optimales. Cela permet aux décideurs (humains ou automatisés) de comprendre l’éventail des possibilités et de choisir la solution qui correspond le mieux à leurs préférences spécifiques ou aux contraintes opérationnelles. Cette approche est cruciale pour développer des systèmes d’IA plus responsables, transparents et alignés avec des valeurs multiples, en permettant d’intégrer des considérations comme l’équité, la sécurité ou l’interprétabilité comme des objectifs formels aux côtés des objectifs de performance traditionnels.
Les applications pratiques du MORL sont nombreuses et variées. En robotique, il permet d’optimiser la trajectoire et le comportement des robots en considérant simultanément la vitesse, la consommation d’énergie, la sécurité des interactions et la précision de la tâche. Dans la gestion des réseaux de communication, MORL peut équilibrer le débit, la latence, la gigue et la consommation d’énergie. Pour la gestion des systèmes énergétiques, comme les réseaux électriques intelligents, il peut optimiser la production, la distribution et le stockage d’énergie en tenant compte des coûts, de la fiabilité, des émissions de carbone et de l’intégration des sources renouvelables. En finance, le MORL est utilisé pour développer des stratégies d’investissement qui optimisent le couple rendement/risque selon différentes préférences d’aversion au risque. D’autres domaines incluent la gestion des ressources naturelles (pêche, forêts), la planification de traitements médicaux personnalisés (efficacité vs effets secondaires vs coût), la conduite autonome (sécurité vs vitesse vs confort), et l’amélioration des systèmes de recommandation (pertinence vs diversité vs nouveauté).
Il existe plusieurs nuances et perspectives au sein du MORL. Une distinction importante est faite entre la scalarisation a priori, où les préférences de l’utilisateur (par exemple, les poids des objectifs) sont fixées avant le processus d’apprentissage, et les approches a posteriori, qui visent d’abord à trouver l’ensemble de Pareto complet (ou une approximation) et permettent ensuite à l’utilisateur de choisir une solution. On différencie aussi les méthodes qui recherchent une politique unique optimale pour une préférence donnée (single-policy MORL) de celles qui cherchent à identifier l’ensemble de toutes les politiques Pareto-optimales (multi-policy MORL). L’intégration de l’apprentissage profond a conduit au Deep MORL, utilisant des réseaux de neurones pour approximer les fonctions de valeur vectorielles ou les politiques dans des espaces d’états et d’actions de grande dimension, bien que cela introduise des défis supplémentaires en termes de stabilité et de complexité d’échantillonnage. Des recherches portent également sur l’extension du MORL aux environnements partiellement observables (Multi-Objective Partially Observable Markov Decision Processes, ou MOMDPs).
Le MORL est étroitement lié à plusieurs autres concepts. Il est fondamentalement une extension de l’Apprentissage par Renforcement (RL) et s’appuie fortement sur les concepts de l’Optimisation Multi-Objectif (MOO), en particulier la notion d’optimalité de Pareto. Le formalisme de base est une extension du Processus de Décision Markovien (MDP), appelé MOMDP. La Théorie de la Décision Multi-Critères (MCDM) fournit des cadres et des outils utiles, notamment pour aider à la prise de décision une fois le front de Pareto obtenu. La Programmation Dynamique, qui sous-tend de nombreux algorithmes RL, est également pertinente pour le MORL. Des termes comme « Reinforcement Learning with Multiple Objectives » ou « Vector Reward Reinforcement Learning » sont parfois utilisés comme synonymes. Le concept opposé est l’Apprentissage par Renforcement Mono-Objectif (Single-Objective Reinforcement Learning, SORL), qui représente le paradigme standard du RL.
L’histoire du MORL est liée à l’évolution du RL et de l’optimisation multi-objectif. Bien que les idées fondamentales de compromis entre objectifs multiples soient anciennes, leur application formelle dans le cadre du RL a commencé à prendre forme vers la fin des années 1990 et au début des années 2000. La reconnaissance croissante que de nombreux problèmes du monde réel ne pouvaient pas être adéquatement capturés par une fonction de récompense scalaire unique a stimulé l’intérêt pour le MORL. Des algorithmes spécifiques ont été développés, adaptant des approches existantes comme le Q-learning et les méthodes de gradient de politique pour gérer les récompenses vectorielles et l’optimalité de Pareto. Plus récemment, l’avènement du Deep Learning a permis l’émergence du Deep MORL, capable de traiter des problèmes à grande échelle avec des espaces d’états complexes, comme ceux rencontrés en robotique avancée ou dans les jeux vidéo sophistiqués.
Le MORL offre des avantages significatifs, notamment une modélisation plus fidèle des problèmes complexes du monde réel et la capacité à fournir un ensemble de solutions optimales qui explicitent les compromis possibles. Cela permet une prise de décision plus informée et flexible pour l’utilisateur final. Cependant, le MORL présente également des inconvénients et des défis notables. La complexité algorithmique et computationnelle est généralement plus élevée que pour le RL mono-objectif, car la recherche d’un front de Pareto est plus exigeante que la recherche d’un optimum unique. La définition et la pondération appropriées des multiples objectifs peuvent être difficiles et subjectives. L’interprétation et la visualisation du front de Pareto deviennent complexes lorsque le nombre d’objectifs dépasse deux ou trois, rendant difficile la sélection d’une solution préférée. La convergence et la stabilité des algorithmes MORL, en particulier ceux basés sur l’apprentissage profond, sont des domaines de recherche actifs. L’évaluation des performances des algorithmes MORL est également plus complexe, nécessitant des métriques spécifiques (comme l’hypervolume) pour comparer la qualité des fronts de Pareto approximés. Enfin, la scalabilité des approches actuelles à un très grand nombre d’objectifs reste un défi majeur.