Few-Shot Learning
Le Few-Shot Learning (FSL), ou apprentissage à partir de peu d’exemples, est un sous-domaine de l’apprentissage automatique (machine learning) qui vise à développer des modèles capables de généraliser et de faire des prédictions précises sur de nouvelles tâches ou classes en se basant sur un nombre très limité d’exemples d’entraînement étiquetés, souvent seulement une poignée (quelques « shots ») par classe. Il contraste radicalement avec les approches traditionnelles d’apprentissage profond qui nécessitent généralement des milliers, voire des millions, d’exemples étiquetés pour atteindre des performances élevées.
Les concepts fondamentaux du Few-Shot Learning reposent sur l’idée d’exploiter les connaissances acquises préalablement pour apprendre rapidement de nouvelles informations. Une approche clé est le transfert de connaissances (transfer learning), où un modèle pré-entraîné sur une grande quantité de données d’une tâche source est adapté à une nouvelle tâche cible avec peu de données. Un autre principe essentiel est le méta-apprentissage (meta-learning), souvent décrit comme « apprendre à apprendre ». Dans ce cadre, le modèle est entraîné sur une multitude de petites tâches d’apprentissage (épisodes) similaires à la tâche cible future, lui permettant d’acquérir une stratégie d’apprentissage efficace qui peut être rapidement appliquée aux quelques exemples de la nouvelle tâche. La conception d’espaces d’enchâssement (embedding spaces) où les exemples similaires sont proches, indépendamment de leur classe spécifique vue lors de l’entraînement initial, est également une technique courante. Les modèles apprennent à comparer les nouveaux exemples (requête) aux quelques exemples disponibles (ensemble de support) dans cet espace pour effectuer une classification.
L’importance du Few-Shot Learning réside principalement dans sa capacité à surmonter le goulot d’étranglement majeur de la collecte et de l’annotation de grandes quantités de données, qui est coûteuse en temps et en ressources. Cela rend l’apprentissage automatique applicable à des domaines où les données étiquetées sont intrinsèquement rares, comme en médecine pour les maladies rares, en biologie pour les espèces en danger, ou pour des tâches très spécifiques et personnalisées. Le FSL permet une adaptation plus rapide des modèles à de nouveaux environnements ou à de nouvelles classes émergentes sans nécessiter un réentraînement complet et coûteux. Il contribue ainsi à la démocratisation de l’intelligence artificielle en la rendant accessible pour des problèmes avec des contraintes de données importantes.
Les applications pratiques du Few-Shot Learning sont nombreuses et en pleine expansion. En vision par ordinateur, il est utilisé pour la classification d’images où de nouvelles catégories d’objets doivent être reconnues à partir de quelques photos, par exemple, l’identification de nouveaux produits dans un catalogue ou la reconnaissance de visages avec peu d’images d’entraînement. Dans le traitement du langage naturel (NLP), le FSL permet la classification de textes dans de nouvelles catégories (par exemple, l’analyse de sentiments pour des sujets spécifiques avec peu d’avis), la traduction automatique pour des paires de langues à faibles ressources, ou l’adaptation de chatbots à des domaines très spécialisés. D’autres applications incluent la découverte de médicaments (identifier des molécules actives potentielles à partir de quelques expériences réussies), la robotique (apprendre de nouvelles tâches motrices par démonstration limitée) et la recommandation personnalisée.
Il existe plusieurs nuances et variations au sein du Few-Shot Learning, principalement basées sur le nombre exact d’exemples disponibles par classe pour la nouvelle tâche. Le cas le plus extrême est le Zero-Shot Learning (ZSL), où le modèle doit reconnaître des classes qu’il n’a jamais vues pendant l’entraînement, en utilisant uniquement des descriptions sémantiques (attributs, définitions textuelles) de ces classes. Le One-Shot Learning (OSL) est le cas où un seul exemple étiqueté par nouvelle classe est disponible. Le terme Few-Shot Learning (FSL) englobe généralement le One-Shot Learning et les cas où un petit nombre K (par exemple, K=5 ou K=10) d’exemples par classe est fourni, on parle alors de K-Shot Learning. Il est important de distinguer le FSL de l’apprentissage semi-supervisé (qui utilise un petit nombre de données étiquetées et un grand nombre de données non étiquetées) ou de l’apprentissage actif (qui sélectionne intelligemment les exemples à étiqueter).
Le Few-Shot Learning est étroitement lié à plusieurs autres concepts de l’apprentissage automatique. Le méta-apprentissage est souvent la technique sous-jacente permettant le FSL. L’apprentissage par transfert est une approche connexe, bien que le FSL se concentre spécifiquement sur l’adaptation avec un nombre minimal d’exemples cibles. L’augmentation de données (data augmentation), qui crée artificiellement de nouveaux exemples d’entraînement, peut être utilisée pour enrichir l’ensemble de support limité dans le FSL. L’apprentissage auto-supervisé (self-supervised learning), où les modèles apprennent à partir de données non étiquetées en créant leurs propres tâches de supervision, peut générer des représentations utiles pour le FSL en aval. Un antonyme conceptuel serait l’apprentissage sur de grandes données (Big Data learning) ou l’apprentissage supervisé traditionnel nécessitant une abondance de données étiquetées.
Bien que l’idée de permettre aux machines d’apprendre à partir de peu d’exemples soit inspirée par la capacité d’apprentissage rapide des humains et des animaux, et ait fait l’objet de recherches précoces, le domaine du Few-Shot Learning a connu une croissance significative ces dernières années, stimulée par les avancées en apprentissage profond (deep learning). Les réseaux neuronaux profonds, combinés aux techniques de méta-apprentissage et d’apprentissage par transfert, ont permis des progrès considérables. Des approches comme les réseaux siamois (Siamese Networks), les réseaux de prototypage (Prototypical Networks), les réseaux relationnels (Relation Networks) et les MAML (Model-Agnostic Meta-Learning) sont devenues des méthodes de référence dans le domaine.
Les avantages du Few-Shot Learning sont clairs : il réduit considérablement la dépendance aux grands ensembles de données étiquetées, diminue les coûts et le temps d’annotation, permet une adaptation rapide des modèles à de nouvelles classes ou tâches, et ouvre la voie à des applications personnalisées ou dans des domaines à données rares. Cependant, le FSL présente aussi des inconvénients et des défis. Les performances des modèles FSL sont souvent inférieures à celles des modèles entraînés sur de grandes quantités de données pour la même tâche. La performance peut être très sensible au choix des quelques exemples de l’ensemble de support. La généralisation à des tâches ou des domaines très différents de ceux rencontrés pendant le méta-entraînement reste un défi. L’évaluation robuste des modèles FSL est également complexe, nécessitant des protocoles spécifiques pour simuler des scénarios réalistes de peu d’exemples. Enfin, comprendre pourquoi et comment ces modèles généralisent à partir de si peu de données reste un sujet de recherche actif.