Apprentissage Semi-Supervisé (Semi-Supervised Learning)
L’apprentissage semi-supervisé (Semi-Supervised Learning, SSL) est une branche de l’apprentissage automatique qui se situe entre l’apprentissage supervisé et l’apprentissage non supervisé. Il utilise une petite quantité de données étiquetées conjointement avec une grande quantité de données non étiquetées pour entraîner des modèles prédictifs. L’objectif principal est d’exploiter la structure inhérente aux données non étiquetées pour améliorer la performance des modèles par rapport à ce qui pourrait être atteint en utilisant uniquement les données étiquetées, souvent rares et coûteuses à obtenir.
Le principe fondamental de l’apprentissage semi-supervisé repose sur l’idée que les données non étiquetées, bien que ne fournissant pas de cibles explicites, contiennent des informations précieuses sur la distribution sous-jacente des données et la structure des classes. Pour exploiter ces informations, les algorithmes d’apprentissage semi-supervisé s’appuient généralement sur une ou plusieurs hypothèses clés. L’hypothèse de regroupement (cluster assumption) stipule que les points de données appartenant au même groupe (cluster) dans l’espace des caractéristiques sont susceptibles d’appartenir à la même classe. L’hypothèse de la variété (manifold assumption) suggère que les données de haute dimension résident en réalité sur des variétés de plus basse dimension, et que les points proches sur cette variété partagent des étiquettes similaires. L’hypothèse de lissage (smoothness assumption) ou de continuité stipule que si deux points sont proches dans une région de forte densité, alors leurs étiquettes correspondantes devraient être identiques ou très similaires. Une autre hypothèse parfois utilisée est celle de la faible densité de séparation (low-density separation assumption), qui postule que la frontière de décision entre les classes devrait se situer dans des régions de faible densité de points de données. Les algorithmes tentent d’utiliser ces hypothèses pour propager les informations des étiquettes des données étiquetées vers les données non étiquetées.
L’importance de l’apprentissage semi-supervisé réside principalement dans sa capacité à atténuer le goulot d’étranglement que représente l’acquisition de données étiquetées. Dans de nombreux domaines, les données brutes non étiquetées sont abondantes et faciles à collecter (par exemple, des textes sur internet, des images, des signaux audio), tandis que l’étiquetage manuel par des experts humains est coûteux, chronophage et parfois subjectif. En réduisant la dépendance aux données étiquetées, l’apprentissage semi-supervisé rend possible la construction de modèles performants là où l’apprentissage supervisé seul serait impraticable faute d’un volume suffisant de données d’entraînement annotées. Son impact est significatif dans des secteurs comme le traitement du langage naturel, la vision par ordinateur, la bioinformatique, et l’analyse de données web, où il permet d’améliorer la précision des modèles, d’accélérer le développement et de réduire les coûts. L’apprentissage semi-supervisé peut également conduire à une meilleure généralisation des modèles, car l’utilisation de données non étiquetées aide à capturer une représentation plus robuste de la distribution des données.
Les applications de l’apprentissage semi-supervisé sont variées. Dans le traitement du langage naturel, il est utilisé pour la classification de textes, comme le filtrage des spams où un petit ensemble d’emails est étiqueté comme spam ou non-spam, et un grand volume d’emails non étiquetés est utilisé pour améliorer le filtre. L’analyse des sentiments est un autre exemple, où des critiques de produits étiquetées positivement ou négativement sont complétées par un grand nombre de critiques non étiquetées. En vision par ordinateur, l’apprentissage semi-supervisé aide à la classification et à la segmentation d’images. Par exemple, pour la reconnaissance d’objets, un système peut être entraîné avec quelques images où les objets sont identifiés, puis affiné avec de nombreuses images non étiquetées pour améliorer sa capacité à reconnaître ces objets dans divers contextes. La détection de contenu illicite ou inapproprié sur les plateformes en ligne bénéficie également de ces techniques. En bioinformatique, il est appliqué à la classification des séquences de gènes ou de protéines, où l’étiquetage fonctionnel est complexe et coûteux. L’identification de fraudes financières, où les cas de fraude étiquetés sont rares mais les transactions normales (non étiquetées comme frauduleuses) sont nombreuses, est une autre application pertinente.
Il existe plusieurs nuances et variations dans les approches d’apprentissage semi-supervisé. Une distinction importante est faite entre les méthodes transductives et inductives. L’apprentissage transductif vise à prédire les étiquettes uniquement pour les données non étiquetées spécifiques fournies pendant l’entraînement, sans chercher à construire un modèle généralisable à de nouvelles données invisibles. L’apprentissage inductif, en revanche, vise à apprendre une fonction de prédiction (un classifieur) qui peut être appliquée à de futures données non vues. Les algorithmes d’apprentissage semi-supervisé peuvent être regroupés en plusieurs familles. Les modèles génératifs tentent de modéliser la distribution conjointe des données et des étiquettes, P(x,y). Ils estiment les paramètres du modèle à partir des données étiquetées et non étiquetées, puis utilisent la règle de Bayes pour la classification. Les approches discriminatives, comme les machines à vecteurs de support semi-supervisées (S3VM), cherchent directement à trouver une frontière de décision qui sépare les classes, en essayant de la faire passer par des régions de faible densité. Les méthodes basées sur les graphes, telles que la propagation d’étiquettes (label propagation) ou la régularisation sur graphe (graph regularization), construisent un graphe où les nœuds représentent les échantillons (étiquetés et non étiquetés) et les arêtes représentent leurs similarités. Les étiquettes sont ensuite propagées des nœuds étiquetés aux nœuds non étiquetés à travers le graphe. Des techniques spécifiques comme l’auto-apprentissage (self-training) impliquent d’entraîner un classifieur initial sur les données étiquetées, puis de l’utiliser pour prédire les étiquettes des données non étiquetées. Les prédictions les plus fiables sont ajoutées à l’ensemble d’entraînement étiqueté, et le processus est répété. Le co-apprentissage (co-training) est une variante qui utilise deux vues (ensembles de caractéristiques) distinctes et redondantes des données, entraînant un classifieur sur chaque vue et utilisant les prédictions de l’un pour augmenter l’ensemble d’entraînement de l’autre.
L’apprentissage semi-supervisé est étroitement lié à plusieurs autres paradigmes d’apprentissage. L’apprentissage supervisé est son fondement, car il nécessite au moins un petit ensemble de données étiquetées. L’apprentissage non supervisé est également lié, car les techniques d’apprentissage semi-supervisé exploitent souvent la structure des données révélée par des méthodes non supervisées (comme le clustering). L’apprentissage actif (active learning) est un concept connexe où l’algorithme sélectionne activement les données non étiquetées les plus informatives à faire étiqueter par un oracle (généralement un humain), ce qui peut être combiné avec l’apprentissage semi-supervisé. L’apprentissage par transfert (transfer learning) vise à utiliser les connaissances acquises d’une tâche source pour améliorer la performance sur une tâche cible, et peut parfois être utilisé conjointement ou comme alternative lorsque les données étiquetées sont rares. L’apprentissage faiblement supervisé (weakly supervised learning) est un terme plus large qui inclut l’apprentissage semi-supervisé, mais aussi d’autres scénarios où les étiquettes sont incomplètes, inexactes ou imprécises (par exemple, l’apprentissage avec des étiquettes au niveau du sac en apprentissage multiple instance, ou l’apprentissage à partir de données bruitées). Il n’y a pas de synonyme direct parfait pour « apprentissage semi-supervisé », bien que des termes comme « apprentissage avec données partiellement étiquetées » puissent être utilisés. En termes d’antonymes, l’apprentissage purement supervisé (qui n’utilise que des données étiquetées) et l’apprentissage purement non supervisé (qui n’utilise aucune donnée étiquetée) représentent les extrêmes par rapport auxquels l’apprentissage semi-supervisé se positionne comme un intermédiaire.
Les premières idées relatives à l’utilisation de données non étiquetées pour améliorer l’apprentissage supervisé remontent aux années 1970, avec des travaux pionniers sur l’apprentissage transductif et l’auto-apprentissage. Cependant, le domaine a véritablement pris son essor à la fin des années 1990 et au début des années 2000, avec le développement de nouvelles méthodes théoriques et algorithmiques plus robustes. Des travaux importants sur les modèles génératifs, les machines à vecteurs de support semi-supervisées, les méthodes basées sur les graphes et le co-training ont marqué cette période. L’explosion de la quantité de données numériques disponibles, notamment sur internet, a fortement motivé la recherche en apprentissage semi-supervisé, car la majorité de ces données sont non étiquetées. Plus récemment, l’apprentissage semi-supervisé a trouvé un nouveau souffle avec l’essor de l’apprentissage profond (deep learning). Des techniques comme les auto-encodeurs variationnels (VAEs) et les réseaux antagonistes génératifs (GANs) ont été adaptées pour des contextes semi-supervisés, montrant des résultats prometteurs sur des tâches complexes. L’évolution continue vers la recherche de méthodes capables de tirer le meilleur parti de grandes quantités de données non structurées et non étiquetées, tout en minimisant l’effort d’annotation humaine.
L’apprentissage semi-supervisé offre plusieurs avantages significatifs. Le principal est la réduction des coûts et du temps associés à l’étiquetage des données, permettant d’exploiter de vastes corpus de données non étiquetées. Il peut potentiellement améliorer la performance et la robustesse des modèles par rapport à l’utilisation exclusive de petites quantités de données étiquetées. De plus, il permet d’aborder des problèmes où l’étiquetage est intrinsèquement difficile ou coûteux. Cependant, l’apprentissage semi-supervisé présente aussi des inconvénients et des défis. Sa performance dépend crucialement de la validité des hypothèses sous-jacentes (cluster, manifold, etc.) pour les données considérées. Si ces hypothèses ne sont pas respectées, l’utilisation de données non étiquetées peut paradoxalement dégrader la performance du modèle par rapport à un modèle entraîné uniquement sur les données étiquetées. Ce phénomène est parfois appelé « performance degradation » ou « negative SSL ». Choisir le bon algorithme semi-supervisé et régler ses hyperparamètres peut être complexe. L’évaluation des modèles semi-supervisés est également délicate, car la disponibilité limitée de données étiquetées rend difficile l’estimation fiable de la performance de généralisation. De plus, certains algorithmes peuvent être coûteux en calcul, surtout lorsqu’ils traitent de grandes quantités de données non étiquetées ou construisent des graphes de similarité complexes. Enfin, il est crucial de s’assurer que les données non étiquetées sont pertinentes pour la tâche et proviennent d’une distribution similaire à celle des données étiquetées, sans quoi elles pourraient introduire du bruit ou des biais.