Quantile Regression in RL
La Régression Quantile en Apprentissage par Renforcement (Quantile Regression in RL) est une approche au sein de l’apprentissage par renforcement distributionnel qui vise à modéliser et à estimer la distribution complète des retours futurs cumulés (récompenses actualisées) associés à une paire état-action, plutôt que de se limiter à l’estimation de la seule valeur moyenne (espérance) de ces retours, comme le font les méthodes traditionnelles d’apprentissage de la fonction de valeur (Q-learning). Elle utilise les techniques de régression quantile pour approximer les différents quantiles de cette distribution de retours.
Les concepts fondamentaux de la Régression Quantile en RL reposent sur l’extension de l’idée de la fonction de valeur Q(s,a), qui représente classiquement l’espérance du retour futur Z(s,a) lorsqu’on prend l’action ‘a’ dans l’état ‘s’ et qu’on suit ensuite une politique donnée. Au lieu d’estimer E[Z(s,a)], la régression quantile cherche à estimer la fonction de distribution cumulative inverse, ou fonction quantile, F⁻¹_Z(s,a)(τ) pour différents niveaux de quantile τ ∈ [0, 1]. Un quantile τ représente la valeur en dessous de laquelle se trouve une proportion τ de la distribution. Par exemple, le quantile 0.5 est la médiane. Pour estimer ces quantiles, on minimise typiquement une fonction de perte spécifique, la perte quantile (ou « pinball loss »), qui pondère différemment les erreurs de sur-estimation et de sous-estimation en fonction du quantile τ ciblé. L’équation de Bellman, centrale en RL, est adaptée pour opérer sur ces distributions de quantiles plutôt que sur des valeurs moyennes.
L’importance de la Régression Quantile en RL réside dans sa capacité à fournir une image beaucoup plus riche et nuancée de l’incertitude et de la variabilité des résultats potentiels d’une action. L’espérance seule peut masquer des risques importants ou des potentiels de gains extrêmes. En modélisant la distribution complète, un agent peut prendre des décisions plus informées, notamment dans des contextes où la gestion du risque est cruciale. Par exemple, un agent peut choisir une action qui a une espérance légèrement inférieure mais une variance beaucoup plus faible ou un pire cas (quantile bas) beaucoup moins défavorable. Cette information distributionnelle peut également conduire à un apprentissage plus stable et plus efficace en fournissant des signaux de gradient plus informatifs lors de l’entraînement des réseaux de neurones utilisés pour approximer la fonction quantile. Elle s’inscrit dans le cadre plus large de l’apprentissage par renforcement distributionnel, qui a montré des améliorations significatives des performances par rapport aux méthodes basées sur l’espérance dans de nombreuses tâches.
Les applications pratiques de la Régression Quantile en RL sont variées. En finance algorithmique, elle permet de développer des stratégies de trading qui tiennent compte du risque de pertes importantes (Value at Risk, Conditional Value at Risk) en se concentrant sur les quantiles inférieurs de la distribution des profits. En robotique, un robot naviguant dans un environnement incertain peut utiliser l’information quantile pour choisir des chemins qui minimisent la probabilité de collision ou de délais excessifs (quantiles supérieurs du temps de trajet ou du risque). Dans les systèmes de recommandation, elle peut aider à équilibrer l’engagement moyen des utilisateurs avec la nécessité d’éviter des expériences très négatives (quantiles inférieurs de la satisfaction). Des algorithmes comme QR-DQN et IQN ont montré des performances de pointe sur des benchmarks standards comme la suite de jeux Atari, démontrant leur efficacité empirique.
Il existe plusieurs nuances et variations dans l’application de la régression quantile en RL. L’approche initiale, QR-DQN (Quantile Regression Deep Q-Network), estime un nombre fixe et prédéfini de quantiles pour approximer la distribution. Une limitation est que le choix et le nombre de quantiles sont fixes. IQN (Implicit Quantile Networks) surmonte cette limitation en apprenant une fonction qui mappe des niveaux de quantile τ (échantillonnés aléatoirement lors de l’entraînement) à la valeur du quantile correspondant. Cela permet une représentation plus flexible et continue de la fonction quantile, potentiellement plus précise. FQF (Fully parameterized Quantile Function) va encore plus loin en apprenant explicitement les positions des quantiles τ eux-mêmes, en plus de leurs valeurs, afin de concentrer la capacité de modélisation sur les parties les plus importantes de la distribution. Ces différentes méthodes varient dans leur complexité et leur manière de représenter la distribution des retours.
La Régression Quantile en RL est étroitement liée à plusieurs autres concepts. Elle est une instance majeure de l’Apprentissage par Renforcement Distributionnel (Distributional RL), le paradigme qui met l’accent sur l’apprentissage de la distribution des retours. Elle se distingue d’autres approches distributionnelles comme C51, qui modélise la distribution de manière catégorielle en approximant les probabilités associées à un ensemble fixe de « bins » ou d’atomes de retour. La régression quantile est également liée aux concepts de sensibilité au risque (Risk Sensitivity), car la connaissance des quantiles permet de définir des politiques averses, neutres ou prenantes de risque. Des mesures de risque comme le Conditional Value at Risk (CVaR), qui représente l’espérance des retours dans les pires τ% des cas, peuvent être directement estimées à partir de la fonction quantile apprise. Le concept antonyme serait l’apprentissage par renforcement basé sur l’espérance (Expectation-Based RL), qui ignore la forme de la distribution et se concentre uniquement sur la moyenne.
L’idée d’aller au-delà de l’espérance en RL n’est pas entièrement nouvelle, mais l’approche distributionnelle moderne, et en particulier l’utilisation de la régression quantile, a gagné en importance avec les travaux de Bellemare, Dabney, Munos et collègues autour de 2017. Leur article « A Distributional Perspective on Reinforcement Learning » a jeté les bases théoriques et empiriques montrant les bénéfices de modéliser la distribution complète. Peu après, Dabney et al. ont proposé QR-DQN (2017) comme une méthode pratique et efficace pour implémenter cette idée en utilisant la régression quantile, suivie par IQN (2018) pour une représentation plus flexible de la fonction quantile. Ces travaux ont stimulé une recherche active dans le domaine du Distributional RL.
Les avantages de la Régression Quantile en RL incluent la capacité à modéliser l’incertitude et le risque inhérents aux retours, fournissant une base pour des politiques sensibles au risque. L’information distributionnelle plus riche peut améliorer la stabilité de l’apprentissage et conduire à de meilleures performances finales, comme démontré empiriquement. Cependant, cette approche présente aussi des inconvénients et des défis. L’estimation de multiples quantiles ou d’une fonction quantile implicite est computationnellement plus coûteuse que l’estimation d’une seule valeur moyenne, tant en termes de calculs qu’en termes de mémoire (nécessité de réseaux de neurones plus complexes). L’implémentation peut être plus délicate que celle des algorithmes classiques comme DQN. De plus, bien que la distribution complète offre plus d’informations, son utilisation optimale pour la prise de décision (comment agréger l’information des différents quantiles pour choisir une action) reste un domaine de recherche actif. L’interprétation directe de la fonction quantile peut aussi être moins intuitive que celle de la valeur moyenne pour certains utilisateurs.