Self-Supervised Learning (SSL)
Le Self-Supervised Learning (SSL), ou apprentissage auto-supervisé en français, est une approche d’apprentissage automatique où un modèle apprend à partir de données non étiquetées en créant artificiellement des tâches de supervision à partir des données elles-mêmes. Il s’agit d’exploiter la structure inhérente ou les relations contextuelles au sein des données pour générer des signaux de supervision, permettant ainsi au modèle d’apprendre des représentations utiles sans nécessiter d’annotations humaines externes.
Les concepts fondamentaux du SSL reposent sur l’idée de transformer un problème d’apprentissage non supervisé en un problème d’apprentissage supervisé autogénéré. Cela se fait généralement via une tâche dite « prétexte » (pretext task). Cette tâche est conçue de manière à ce que le modèle doive prédire une partie de l’entrée à partir d’une autre partie, ou prédire une propriété de l’entrée qui a été artificiellement modifiée ou masquée. Par exemple, dans le traitement d’images, une tâche prétexte pourrait consister à prédire la couleur d’une image à partir de sa version en niveaux de gris, ou à prédire l’orientation correcte d’une image qui a été tournée aléatoirement. En résolvant ces tâches prétextes, le modèle, souvent un réseau de neurones profond, apprend des caractéristiques et des représentations des données qui capturent des informations sémantiques pertinentes. Ces représentations pré-entraînées peuvent ensuite être utilisées pour des tâches dites « en aval » (downstream tasks), telles que la classification, la détection d’objets ou la segmentation, souvent avec une quantité beaucoup plus faible de données étiquetées pour l’affinage (fine-tuning). Le SSL se situe ainsi entre l’apprentissage supervisé, qui requiert des étiquettes externes, et l’apprentissage non supervisé traditionnel (comme le clustering), qui cherche des structures sans signaux de supervision explicites.
L’importance et la pertinence du Self-Supervised Learning résident principalement dans sa capacité à surmonter la limitation majeure de l’apprentissage supervisé : la nécessité coûteuse et chronophage d’annoter manuellement de grands ensembles de données. Dans de nombreux domaines, les données non étiquetées sont abondantes (par exemple, des milliards d’images sur internet, d’immenses corpus de textes), tandis que les données étiquetées sont rares et chères à obtenir. Le SSL permet d’exploiter ces vastes gisements de données brutes pour pré-entraîner des modèles puissants. Ces modèles pré-entraînés apprennent des représentations générales et robustes qui améliorent considérablement les performances sur une large gamme de tâches en aval, même avec peu de données étiquetées spécifiques à ces tâches. Cet impact est particulièrement visible dans le développement récent de modèles de fondation (foundation models) à grande échelle en traitement du langage naturel et en vision par ordinateur, qui doivent une grande partie de leur succès aux techniques de pré-entraînement auto-supervisé. Le SSL démocratise ainsi l’accès à des modèles performants en réduisant la dépendance à l’égard des données étiquetées.
Les applications pratiques du Self-Supervised Learning sont nombreuses et en pleine expansion. Dans le traitement du langage naturel (NLP), des modèles révolutionnaires comme BERT (Bidirectional Encoder Representations from Transformers) et GPT (Generative Pre-trained Transformer) utilisent des tâches prétextes SSL. BERT, par exemple, apprend en prédisant des mots masqués aléatoirement dans des phrases (Masked Language Modeling) et en prédisant si deux phrases sont consécutives (Next Sentence Prediction). En vision par ordinateur, le SSL est utilisé pour pré-entraîner des réseaux neuronaux pour des tâches comme la classification d’images, la détection d’objets et la segmentation. Les approches incluent l’apprentissage contrastif, où le modèle apprend à distinguer des vues augmentées de la même image (positives) par rapport à des vues d’images différentes (négatives), comme dans SimCLR ou MoCo. D’autres tâches prétextes visuelles incluent la prédiction de la position relative de patchs d’image ou le coloriage d’images. Dans le traitement de la parole, des modèles comme wav2vec 2.0 utilisent le SSL pour apprendre des représentations audio en prédisant des unités de parole quantifiées à partir de la forme d’onde audio masquée, améliorant considérablement la reconnaissance vocale, notamment pour les langues à faibles ressources. On trouve également des applications en biologie computationnelle pour l’analyse de séquences protéiques ou génomiques, et dans les systèmes de recommandation.
Il existe différentes nuances et variations au sein du Self-Supervised Learning, principalement liées aux types de tâches prétextes utilisées. On distingue souvent deux grandes familles : les approches contrastives et les approches prédictives/génératives. L’apprentissage contrastif vise à apprendre des représentations en maximisant l’accord entre différentes vues (augmentations) de la même donnée et en minimisant l’accord entre les vues de données différentes. Les méthodes prédictives/génératives, quant à elles, consistent à prédire une partie masquée ou corrompue de l’entrée (comme dans BERT ou les auto-encodeurs débruiteurs) ou à générer l’entrée complète. Une autre nuance concerne la position du SSL par rapport à l’apprentissage supervisé et non supervisé ; certains le considèrent comme une sous-catégorie de l’apprentissage non supervisé, tandis que d’autres le voient comme un paradigme distinct en raison de l’utilisation de signaux de supervision auto-générés. Les variations incluent également des techniques spécifiques comme l’apprentissage basé sur le masquage (Masked Autoencoders – MAE), l’apprentissage non contrastif (BYOL, SimSiam) qui évite l’utilisation d’échantillons négatifs explicites, ou encore l’apprentissage multi-vues exploitant différentes modalités de données.
Plusieurs concepts sont étroitement liés au Self-Supervised Learning. L’apprentissage par transfert (transfer learning) est un concept clé, car l’objectif principal du pré-entraînement SSL est souvent de transférer les connaissances acquises (les représentations) vers des tâches en aval. L’apprentissage de représentations (representation learning) est au cœur du SSL, qui vise explicitement à apprendre des encodages de données utiles. Le pré-entraînement est la phase durant laquelle le SSL est appliqué. L’apprentissage supervisé est l’approche que le SSL cherche à complémenter ou à remplacer en termes de besoin d’étiquettes, tandis que l’apprentissage non supervisé (clustering, réduction de dimensionnalité) est une catégorie proche, parfois considérée comme englobant le SSL. Il n’y a pas de synonyme parfait, mais des termes comme « apprentissage auto-appris » ou « apprentissage prédictif non supervisé » sont parfois utilisés. L’antonyme principal serait l’apprentissage supervisé, en ce qui concerne la source des étiquettes (externes vs. auto-générées). Les modèles de fondation sont une application majeure et un résultat de l’essor du SSL à grande échelle.
Bien que le terme « Self-Supervised Learning » soit relativement récent dans sa popularité actuelle, ses racines sont plus anciennes. Les idées d’utiliser la structure des données pour l’apprentissage remontent aux travaux sur les auto-encodeurs dans les années 1980 et 1990, qui apprennent à reconstruire leur entrée. L’exploitation de la cohérence temporelle dans les vidéos ou spatiale dans les images a également été explorée tôt. Un tournant majeur a été le développement des plongements de mots (word embeddings) comme Word2Vec et GloVe autour de 2013-2014, qui utilisaient des tâches prétextes basées sur le contexte des mots pour apprendre des représentations sémantiques denses. L’essor spectaculaire du SSL a véritablement commencé vers la fin des années 2010, d’abord en NLP avec des modèles comme ELMo, ULMFiT, puis BERT et GPT, et peu après en vision par ordinateur avec l’émergence et le succès des méthodes contrastives et basées sur le masquage. Cette évolution a été alimentée par la disponibilité croissante de grandes quantités de données et de ressources de calcul (GPU, TPU).
Le Self-Supervised Learning présente de nombreux avantages. Son principal atout est de permettre l’exploitation des énormes volumes de données non étiquetées disponibles, réduisant ainsi considérablement le besoin et le coût de l’annotation manuelle. Il conduit souvent à l’apprentissage de représentations plus robustes et généralisables que celles apprises uniquement par supervision sur des tâches spécifiques, surtout lorsque les données étiquetées sont limitées. Le SSL favorise la scalabilité, car les modèles peuvent être pré-entraînés sur des quantités massives de données. Cependant, le SSL a aussi ses inconvénients et défis. La conception d’une tâche prétexte efficace est cruciale et souvent empirique ; une mauvaise tâche prétexte peut ne pas conduire à des représentations utiles pour les tâches en aval. Le pré-entraînement SSL requiert généralement des quantités substantielles de données et des ressources computationnelles considérables, ce qui peut limiter son accessibilité. Les représentations apprises peuvent hériter et potentiellement amplifier les biais présents dans les données brutes non étiquetées. Évaluer la qualité des représentations apprises pendant le pré-entraînement est complexe, souvent nécessitant une évaluation indirecte sur des tâches en aval. Enfin, le transfert des connaissances apprises vers des tâches très différentes de la tâche prétexte ou très spécifiques n’est pas toujours garanti et peut nécessiter un affinage conséquent. Malgré ces défis, le SSL est devenu un pilier de l’apprentissage automatique moderne, ouvrant de nouvelles perspectives pour l’intelligence artificielle.