Apprentissage Auto-Supervisé
L’Apprentissage Auto-Supervisé, également connu sous l’acronyme SSL (Self-Supervised Learning), est une approche d’apprentissage automatique dans laquelle les signaux de supervision, c’est-à-dire les étiquettes ou les cibles que le modèle doit prédire, sont générés automatiquement à partir des données d’entrée elles-mêmes, sans nécessiter d’annotations manuelles externes fournies par des humains. Il se situe conceptuellement entre l’apprentissage supervisé, qui requiert des données explicitement étiquetées, et l’apprentissage non supervisé, qui opère sur des données sans aucune étiquette.
Les concepts fondamentaux de l’apprentissage auto-supervisé reposent sur l’idée de transformer un problème d’apprentissage non supervisé en un problème d’apprentissage supervisé en créant des tâches dites de « prétexte ». Une tâche de prétexte est une tâche auxiliaire que le modèle est entraîné à résoudre, où les étiquettes sont dérivées des données brutes. Par exemple, on peut masquer une partie d’une phrase et demander au modèle de la prédire, ou cacher une partie d’une image et demander au modèle de la reconstruire. L’hypothèse sous-jacente est qu’en apprenant à résoudre ces tâches de prétexte, le modèle développera une compréhension sémantique et structurelle profonde des données, aboutissant à des représentations de données riches et utiles. Ces représentations peuvent ensuite être transférées et affinées (fine-tuned) pour des tâches dites « en aval » (downstream tasks), qui sont les tâches d’intérêt final, souvent avec une quantité beaucoup plus faible de données étiquetées.
L’importance de l’apprentissage auto-supervisé réside principalement dans sa capacité à exploiter les quantités massives de données non étiquetées disponibles dans le monde. L’étiquetage manuel des données est un processus coûteux, chronophage et parfois sujet à des erreurs ou des biais humains. L’SSL permet de contourner cette limitation en permettant aux modèles d’apprendre directement à partir des données brutes. Cela a un impact significatif sur la démocratisation de l’intelligence artificielle, en réduisant la dépendance aux grands ensembles de données étiquetées qui ne sont pas toujours accessibles. De plus, les modèles pré-entraînés avec des approches auto-supervisées ont démontré une capacité remarquable à généraliser à de nouvelles tâches et à obtenir des performances de pointe, parfois même en surpassant les modèles entraînés de manière entièrement supervisée lorsque les données étiquetées pour la tâche en aval sont rares. Son impact est particulièrement visible dans des domaines comme le traitement du langage naturel et la vision par ordinateur, où il a permis des avancées spectaculaires.
Les applications pratiques de l’apprentissage auto-supervisé sont nombreuses et en constante expansion. Dans le domaine du traitement du langage naturel (NLP), des modèles de langage comme BERT (Bidirectional Encoder Representations from Transformers) utilisent des tâches de prétexte telles que le « Masked Language Modeling » (prédire des mots masqués dans une phrase) et la « Next Sentence Prediction » (prédire si deux phrases se suivent logiquement). Ces modèles pré-entraînés fournissent des représentations de mots et de phrases qui améliorent considérablement les performances sur une vaste gamme de tâches NLP comme la classification de texte, la réponse aux questions et la traduction automatique. En vision par ordinateur, les techniques d’apprentissage auto-supervisé incluent la prédiction de la position relative de patchs d’une image, la colorisation d’images en niveaux de gris en prédisant les couleurs, la prédiction de l’angle de rotation appliqué à une image, ou encore la résolution de puzzles d’images (jigsaw puzzles) où le modèle doit réassembler correctement des morceaux d’une image mélangés. Ces approches permettent d’apprendre des caractéristiques visuelles robustes. D’autres applications incluent le traitement audio, où l’on peut prédire des segments futurs d’un signal audio, et même la robotique, pour apprendre des représentations utiles à la manipulation d’objets.
Il existe différentes nuances et variations dans les approches d’apprentissage auto-supervisé, souvent classées selon la nature de la tâche de prétexte. Une catégorie majeure est l’apprentissage contrastif. Les méthodes contrastives, telles que SimCLR, MoCo, et BYOL, apprennent des représentations en maximisant la similarité entre différentes versions augmentées du même échantillon de données (vues positives) tout en minimisant la similarité avec les versions augmentées d’échantillons différents (vues négatives). Une autre catégorie concerne les approches génératives, où le modèle apprend à générer ou reconstruire une partie des données. Les auto-encodeurs débruitants, qui tentent de reconstruire une entrée originale à partir d’une version corrompue, et les modèles de langage masqués comme BERT en sont des exemples. Enfin, les approches prédictives (ou de contexte) impliquent la prédiction de certaines propriétés ou parties des données à partir d’autres parties. Cela inclut la prédiction de la position relative de patchs d’image ou la prédiction du mot suivant dans une séquence. La frontière avec l’apprentissage non supervisé traditionnel peut parfois sembler floue, mais l’SSL se distingue par la définition explicite d’une tâche de supervision auto-générée, ce qui n’est pas toujours le cas dans des méthodes non supervisées comme le clustering pur.
Plusieurs concepts sont étroitement liés à l’apprentissage auto-supervisé. L’apprentissage supervisé en est l’antonyme principal, car il dépend d’étiquettes fournies par l’homme. L’apprentissage non supervisé est un terme plus large qui englobe l’SSL ; l’SSL peut être vu comme une manière structurée de réaliser un apprentissage non supervisé en formulant des tâches de supervision auto-générées. L’apprentissage par transfert (Transfer Learning) est un partenaire naturel de l’SSL : les représentations ou les modèles appris via l’SSL sont typiquement transférés pour être utilisés ou affinés sur des tâches en aval. L’apprentissage semi-supervisé, qui utilise une combinaison de données étiquetées et non étiquetées, peut incorporer des techniques d’SSL pour exploiter la portion non étiquetée. Le terme « self-training » est parfois utilisé de manière connexe, désignant une technique où un modèle entraîné sur des données étiquetées est utilisé pour générer des pseudo-étiquettes sur des données non étiquetées, qui sont ensuite utilisées pour un ré-entraînement. L’SSL est plus général car la tâche de prétexte ne vise pas nécessairement à produire des étiquettes directement utilisables pour la tâche finale.
L’idée d’apprendre des représentations à partir de données non étiquetées n’est pas nouvelle. Les auto-encodeurs, développés dès les années 1980 et 1990, peuvent être considérés comme des précurseurs de l’SSL, car ils apprennent à reconstruire leur entrée, une forme de supervision auto-générée, afin d’obtenir une représentation compressée. Cependant, le terme « apprentissage auto-supervisé » et sa conceptualisation plus formelle ont gagné en popularité plus récemment. Des travaux influents dans les années 2000 et au début des années 2010, comme ceux sur la prédiction de contexte dans les données (par exemple, Word2Vec pour les plongements de mots vers 2013, qui apprend à prédire des mots voisins), ont pavé la voie. L’explosion d’intérêt et les avancées majeures sont survenues plus récemment, à partir de 2018 environ, avec l’avènement de modèles transformeurs comme BERT en NLP, et de méthodes contrastives performantes comme SimCLR, MoCo, et BYOL en vision par ordinateur. Cette progression a été largement alimentée par l’augmentation de la puissance de calcul (notamment les GPU), la disponibilité de très grands ensembles de données non étiquetées, et le développement de nouvelles architectures de réseaux de neurones profonds. La recherche actuelle se concentre sur la conception de tâches de prétexte encore plus efficaces, la réduction de l’écart de performance avec l’apprentissage supervisé, l’application de l’SSL à de nouvelles modalités de données (comme les graphes ou les données tabulaires), et une meilleure compréhension théorique de ses mécanismes.
L’apprentissage auto-supervisé offre de nombreux avantages. Le plus significatif est sa capacité à exploiter les vastes quantités de données non étiquetées, réduisant ainsi la dépendance à l’étiquetage manuel, qui est coûteux, lent et potentiellement biaisé. Cela permet d’entraîner des modèles plus grands et plus puissants, conduisant souvent à des représentations de données plus robustes, généralisables et moins sensibles aux spécificités d’un ensemble d’entraînement étiqueté particulier. Cependant, l’SSL présente aussi des inconvénients et des défis. La conception de tâches de prétexte efficaces est cruciale et reste un art autant qu’une science ; une tâche mal conçue peut ne pas amener le modèle à apprendre des caractéristiques utiles pour les tâches en aval. De plus, l’entraînement de modèles auto-supervisés sur de très grands corpus de données peut être extrêmement gourmand en ressources de calcul et en énergie, ce qui pose des questions d’accessibilité et d’impact environnemental. Un autre défi est le « fossé » (gap) qui peut exister entre la tâche de prétexte et la tâche en aval : les connaissances acquises pour la première ne sont pas toujours parfaitement alignées avec les besoins de la seconde. Bien que ce fossé se réduise, les performances des modèles SSL peuvent parfois rester inférieures à celles des modèles supervisés lorsque de grandes quantités de données étiquetées sont disponibles pour la tâche finale. Enfin, il existe un risque que les modèles auto-supervisés apprennent des « raccourcis » ou des corrélations fallacieuses présentes dans les données non étiquetées, et les biais inhérents aux données brutes peuvent être capturés et même amplifiés par le modèle. Malgré ces limitations, l’apprentissage auto-supervisé est devenu un pilier de l’intelligence artificielle moderne, ouvrant la voie à des systèmes plus autonomes et capables d’apprendre à partir du monde avec moins de supervision humaine directe.