Conditional Imitation Learning
Le Conditional Imitation Learning (CIL), ou Apprentissage par Imitation Conditionné en français, est une approche d’apprentissage automatique où un agent apprend à mimer le comportement d’un expert, mais de manière flexible et adaptable. Contrairement à l’apprentissage par imitation standard qui vise à apprendre une politique unique mappant les états aux actions, le CIL introduit un signal de conditionnement supplémentaire. Ce signal, souvent appelé commande, contexte ou instruction, permet à l’agent de moduler son comportement et d’exécuter différentes actions ou séquences d’actions dans un même état, en fonction de l’objectif spécifié par ce conditionnement. L’objectif est donc d’apprendre une politique qui prend en compte non seulement l’état actuel de l’environnement mais aussi cette information contextuelle pour produire une action appropriée.
Les concepts fondamentaux du Conditional Imitation Learning reposent sur les principes de l’apprentissage par imitation (IL), où l’agent apprend à partir de démonstrations fournies par un expert. La distinction majeure réside dans l’intégration d’un signal de conditionnement. La politique apprise prend la forme π(a|s, c), où ‘a’ représente l’action, ‘s’ l’état de l’environnement, et ‘c’ le signal de conditionnement. Ce signal peut être une instruction de haut niveau (par exemple, « tourne à gauche », « saisis l’objet délicatement »), un objectif spécifique (comme des coordonnées à atteindre), ou une information contextuelle pertinente (par exemple, l’intention perçue d’un autre agent). La collecte de données pour le CIL nécessite donc des triplets (état, action, condition) issus des démonstrations expertes. Les modèles, typiquement des réseaux de neurones profonds, sont conçus pour intégrer cette information de conditionnement, souvent en la concaténant avec la représentation de l’état ou en utilisant des mécanismes plus sophistiqués comme l’attention.
L’importance du Conditional Imitation Learning réside dans sa capacité à doter les agents d’une plus grande généralisation et flexibilité comportementale. Au lieu d’entraîner des modèles distincts pour chaque tâche ou variation de comportement, un unique modèle CIL peut apprendre un répertoire de comportements, sélectionnables via le signal de conditionnement. Cela peut conduire à une meilleure efficacité en termes d’utilisation des données, car les connaissances peuvent être partagées entre différentes conditions. Le CIL est particulièrement pertinent pour améliorer l’interaction homme-machine, permettant aux humains de guider ou d’instruire des robots ou des agents logiciels de manière plus intuitive. Son impact se manifeste dans des domaines variés tels que la robotique, la conduite autonome, la génération de mouvement en animation, et les systèmes interactifs intelligents, où l’adaptabilité du comportement à des instructions ou des contextes changeants est cruciale.
Les applications pratiques du Conditional Imitation Learning sont nombreuses et en pleine expansion. En robotique, un bras manipulateur peut apprendre à exécuter différentes actions de saisie (par exemple, « pousser », « tirer », « soulever ») sur un même objet en fonction d’une commande vocale ou d’un signal visuel. Dans le domaine de la navigation, un robot mobile peut être instruit pour atteindre différentes destinations (« va à la cuisine », « rejoins le salon ») au sein d’un environnement connu. La conduite autonome est un autre champ d’application majeur : les véhicules peuvent apprendre à suivre des instructions de navigation (par exemple, « prends la prochaine sortie », « change de voie à gauche ») tout en imitant un style de conduite humain. Ces systèmes utilisent souvent des commandes discrètes pour guider la politique de conduite. Dans l’animation par ordinateur, le CIL permet de générer des mouvements de personnages qui varient en style ou en émotion (par exemple, « marcher joyeusement », « courir avec fatigue ») en fonction d’une description textuelle ou d’autres paramètres de conditionnement.
Il existe plusieurs nuances et variations du Conditional Imitation Learning. La nature du signal de conditionnement est un aspect clé : il peut s’agir de commandes discrètes (choisies parmi un ensemble fini d’options), de commandes continues (par exemple, une direction ou une vitesse cible), d’objectifs spatiaux (goal-conditioned imitation learning), ou même de commandes latentes inférées à partir de données non structurées comme le langage naturel. L’architecture du modèle peut également varier, notamment dans la manière dont l’information de conditionnement est fusionnée avec la représentation de l’état (fusion précoce, tardive, ou via des mécanismes d’attention). Parfois, la condition elle-même doit être apprise ou interprétée, ce qui ajoute une couche de complexité. Le « Goal-Conditioned Imitation Learning » (GCIL) est une variante très répandue où la condition est un état-objectif à atteindre. Le CIL est aussi étroitement lié à l’apprentissage par imitation multi-tâches, car il fournit un cadre pour apprendre plusieurs tâches avec un seul modèle.
Plusieurs concepts sont étroitement liés au Conditional Imitation Learning. L’apprentissage par imitation (IL) est son fondement. Le clonage comportemental (Behavioral Cloning, BC) est une technique d’IL supervisée souvent utilisée pour implémenter le CIL, où le modèle apprend directement à mapper des paires (état, condition) aux actions de l’expert. L’apprentissage par renforcement (RL) est une approche alternative mais parfois complémentaire ; par exemple, une politique apprise par CIL peut être affinée par RL. L’apprentissage par renforcement inverse (IRL) peut être utilisé pour déduire une fonction de récompense à partir des démonstrations, qui pourrait ensuite guider un agent CIL. L’apprentissage multi-tâches et l’apprentissage conditionné par l’objectif sont des concepts très proches. L’apprentissage par renforcement hiérarchique (HRL) partage des similarités, car une politique de haut niveau peut fournir des sous-objectifs (conditions) à une politique de bas niveau. En revanche, l’apprentissage par imitation non conditionné, qui apprend une seule politique pour un comportement unique, peut être vu comme un antonyme conceptuel.
Bien que le conditionnement des politiques ne soit pas une idée nouvelle, son application systématique et sa popularisation sous le terme « Conditional Imitation Learning » sont relativement récentes, stimulées par les avancées en apprentissage profond. Les premières formes d’apprentissage par imitation, comme ALVINN (Pomerleau, 1989) pour la conduite autonome, se concentraient sur l’apprentissage d’une seule tâche. L’introduction explicite de commandes de haut niveau comme condition pour la conduite autonome, par exemple dans les travaux de Codevilla et al. (2018), a marqué une étape importante. L’évolution actuelle tend vers l’utilisation de conditions plus complexes et sémantiquement riches, telles que des instructions en langage naturel, et vers l’amélioration de la capacité des modèles CIL à généraliser à des conditions inédites et à interagir de manière plus robuste et intuitive.
Le Conditional Imitation Learning offre plusieurs avantages significatifs. Il permet une grande flexibilité et adaptabilité, car un seul modèle peut exécuter une gamme de comportements. Il peut potentiellement améliorer l’efficacité de l’utilisation des données en partageant les connaissances acquises entre différentes conditions. Il facilite une interaction plus intuitive avec les agents, car ils peuvent être guidés par des commandes de haut niveau. Le CIL peut également simplifier l’apprentissage de tâches complexes en les décomposant en sous-tâches conditionnées. Cependant, cette approche présente aussi des inconvénients et des défis. La collecte de données de démonstration étiquetées avec la condition appropriée peut être coûteuse et laborieuse. Les modèles CIL peuvent souffrir du problème de décalage de distribution (distribution shift) si les paires (état, condition) rencontrées en phase de test diffèrent de celles vues à l’entraînement. La qualité des démonstrations est primordiale, car l’agent ne surpassera généralement pas l’expert et peut hériter de ses biais. Un défi majeur est la généralisation à des conditions non vues ou ambiguës. L’agent peut également apprendre de fausses corrélations si les données d’entraînement ne sont pas suffisamment diversifiées pour toutes les combinaisons de conditions et d’états (confusion causale). Enfin, la scalabilité à un très grand nombre de conditions ou à des espaces de conditions continus de haute dimension reste un domaine de recherche actif.