Masked Image Modeling
Le Masked Image Modeling (MIM), ou Modélisation d’Images Masquées en français, est une technique d’apprentissage auto-supervisé (self-supervised learning, SSL) principalement utilisée dans le domaine de la vision par ordinateur pour pré-entraîner des modèles, en particulier des architectures de type Transformer (comme les Vision Transformers, ViT). L’idée fondamentale est de masquer intentionnellement une partie d’une image d’entrée et d’entraîner le modèle à prédire ou reconstruire le contenu masqué, en se basant uniquement sur les parties visibles de l’image.
Les concepts fondamentaux du Masked Image Modeling reposent sur l’idée d’apprendre des représentations visuelles riches et généralisables à partir de données non étiquetées. Le principe clé est l’auto-supervision : le modèle génère ses propres « étiquettes » ou objectifs d’apprentissage à partir des données d’entrée elles-mêmes. Dans le cas du MIM, la tâche de prétexte (pretext task) est la reconstruction des parties masquées. Cela implique généralement plusieurs étapes : une stratégie de masquage (par exemple, masquer aléatoirement des patchs ou des blocs de l’image), un encodeur (souvent un Vision Transformer) qui traite les patchs visibles de l’image pour en extraire des caractéristiques, et un mécanisme de prédiction/reconstruction qui tente de deviner le contenu des patchs masqués. La fonction de perte mesure la différence entre le contenu prédit et le contenu original des zones masquées.
L’importance du Masked Image Modeling réside dans sa capacité à surmonter l’un des plus grands défis de l’apprentissage profond en vision par ordinateur : la nécessité de disposer d’énormes jeux de données étiquetées manuellement, dont la création est coûteuse et longue. En permettant un pré-entraînement efficace sur de vastes corpus d’images non étiquetées (disponibles en abondance sur Internet, par exemple), le MIM permet de créer des modèles de base (foundation models) très puissants. Ces modèles pré-entraînés capturent une compréhension fondamentale de la structure et de la sémantique du monde visuel. Ils peuvent ensuite être affinés (fine-tuned) avec une quantité beaucoup plus faible de données étiquetées pour exceller dans diverses tâches spécifiques (dites « en aval » ou downstream tasks), atteignant souvent des performances de pointe qui rivalisent, voire dépassent, celles des modèles pré-entraînés de manière supervisée sur des jeux de données comme ImageNet. L’impact est donc majeur sur l’accessibilité et l’efficacité de l’entraînement de modèles de vision performants.
Les applications pratiques du Masked Image Modeling sont principalement centrées sur le pré-entraînement de grands modèles de vision. Une fois pré-entraînés via MIM, ces modèles servent de point de départ robuste pour une multitude de tâches en aval. Par exemple, un modèle pré-entraîné avec MIM peut être affiné pour la classification d’images (déterminer la catégorie principale d’une image), la détection d’objets (localiser et identifier plusieurs objets dans une image), la segmentation sémantique (attribuer une étiquette de classe à chaque pixel d’une image), ou même la génération d’images ou l’édition d’images, bien que de manière plus indirecte en fournissant de bonnes représentations latentes. Des modèles spécifiques emblématiques utilisant le MIM incluent BEiT (Bidirectional Encoder representation from Image Transformers), qui prédit des « tokens visuels » discrets pour les patchs masqués, et MAE (Masked Autoencoders), qui utilise un encodeur ne traitant que les patchs visibles et un décodeur léger pour reconstruire directement les valeurs des pixels des patchs masqués.
Il existe plusieurs nuances et variations dans l’approche MIM. La stratégie de masquage peut varier : le masquage de patchs aléatoires est courant (comme dans MAE ou BEiT), mais d’autres approches comme le masquage de blocs contigus existent. Le ratio de masquage (le pourcentage de l’image qui est caché) est un hyperparamètre important ; des ratios étonnamment élevés (par exemple, 75% dans MAE) se sont avérés efficaces, forçant le modèle à apprendre des relations contextuelles à longue portée. La nature de la cible de reconstruction est une autre variation clé : certains modèles prédisent les valeurs brutes des pixels (MAE), d’autres prédisent des représentations discrètes issues d’un « tokenizer » visuel pré-entraîné (BEiT), ou encore des caractéristiques extraites par un autre réseau (parfois appelé « professeur » ou teacher network). L’architecture elle-même peut varier, notamment avec des designs asymétriques où le décodeur est beaucoup plus petit que l’encodeur pour gagner en efficacité lors du pré-entraînement (comme dans MAE).
Plusieurs concepts sont étroitement liés au Masked Image Modeling. L’Apprentissage Auto-Supervisé (SSL) est la catégorie générale à laquelle appartient le MIM. L’Apprentissage Contrastif (Contrastive Learning), comme SimCLR ou MoCo, est une autre famille majeure de méthodes SSL en vision, qui apprend des représentations en rapprochant les vues augmentées d’une même image et en éloignant celles d’images différentes ; c’est une alternative (parfois complémentaire) au MIM. Le Masked Language Modeling (MLM), popularisé par des modèles comme BERT dans le traitement du langage naturel (NLP), est l’inspiration directe du MIM, appliquant l’idée de masquage et de prédiction au domaine visuel. Le Vision Transformer (ViT) est l’architecture de réseau neuronal la plus couramment associée au MIM, car sa structure basée sur des patchs se prête bien au masquage. L’Autoencodeur est un concept plus général où un réseau apprend à compresser (encoder) puis à décompresser (décoder) des données ; le MIM peut être vu comme une forme spécifique d’autoencodeur (souvent un autoencodeur débruiteur ou denoising autoencoder, où le « bruit » est le masquage structuré) utilisée dans un contexte SSL. Il n’y a pas de synonyme direct parfait, mais « pré-entraînement auto-supervisé par reconstruction de patchs masqués » décrit bien le processus. Un antonyme conceptuel serait l’Apprentissage Supervisé (Supervised Learning), qui repose entièrement sur des données étiquetées.
L’origine du Masked Image Modeling est fortement influencée par les succès du Masked Language Modeling (MLM) dans le NLP, notamment avec BERT en 2018. Bien que l’idée de reconstruire des parties manquantes d’une image ne soit pas entièrement nouvelle (par exemple, les autoencodeurs débruiteurs ou l’inpainting), son application systématique comme méthode de pré-entraînement auto-supervisé à grande échelle pour les Transformers de vision a pris son essor plus récemment. L’avènement des Vision Transformers (ViT) en 2020 a fourni une architecture bien adaptée à ce type de tâche basée sur les patchs. Des articles clés publiés en 2021, tels que BEiT et MAE, ont démontré l’énorme potentiel du MIM, montrant qu’il pouvait atteindre des performances comparables, voire supérieures, au pré-entraînement supervisé sur des benchmarks majeurs, ce qui a considérablement popularisé l’approche. Depuis, la recherche continue d’explorer des variations et des améliorations de cette technique.
Le Masked Image Modeling présente plusieurs avantages significatifs. Son principal atout est l’efficacité en termes de données, car il exploite d’immenses quantités de données visuelles non étiquetées, réduisant ainsi la dépendance à l’étiquetage manuel coûteux. Il permet de pré-entraîner des modèles de très grande taille qui apprennent des représentations visuelles robustes et généralisables. Ces représentations se transfèrent bien à un large éventail de tâches en aval, souvent avec un besoin réduit en données étiquetées pour l’étape d’affinage. Cependant, le MIM présente aussi des inconvénients et des défis. Le pré-entraînement peut être extrêmement coûteux en termes de calcul, nécessitant d’importantes ressources matérielles (GPU/TPU) et du temps. Le choix de la stratégie de masquage, du ratio de masquage et de la cible de reconstruction peut avoir un impact notable sur les performances et n’est pas toujours trivial à optimiser. De plus, selon la cible de reconstruction (par exemple, les pixels), le modèle pourrait potentiellement se concentrer excessivement sur des détails de bas niveau au détriment d’une compréhension sémantique plus profonde, bien que les résultats empiriques montrent souvent un bon apprentissage sémantique. Enfin, assurer que les représentations apprises sont équitables et ne capturent pas de biais indésirables présents dans les larges corpus de données non étiquetées reste un défi important.