Image2Image
Image2Image désigne une catégorie de techniques d’apprentissage automatique, et plus spécifiquement d’apprentissage profond, qui visent à transformer une image d’entrée en une image de sortie correspondante. Le processus consiste à entraîner un modèle à apprendre une fonction de mappage entre un domaine visuel source (représenté par l’image d’entrée) et un domaine visuel cible (représenté par l’image de sortie souhaitée). L’objectif est de générer une nouvelle image qui conserve certains aspects de l’entrée tout en adoptant les caractéristiques ou le style du domaine cible.
Les concepts fondamentaux de l’Image2Image reposent sur l’utilisation de réseaux neuronaux profonds, en particulier les réseaux antagonistes génératifs (GANs) et, plus récemment, les modèles de diffusion. Les GANs pour Image2Image, comme Pix2Pix ou CycleGAN, utilisent typiquement une architecture encodeur-décodeur pour le générateur, qui transforme l’image d’entrée, et un discriminateur, qui évalue si l’image générée est plausible et correspond au domaine cible (et parfois si elle correspond à l’image d’entrée). Le concept clé est la génération conditionnelle : la sortie n’est pas générée à partir de rien (comme dans la génération d’images non conditionnelle), mais est conditionnée par l’image d’entrée. Une distinction importante existe entre les approches nécessitant des données appariées (où chaque image d’entrée a une image de sortie cible correspondante exacte pour l’entraînement, comme une esquisse et sa photo) et celles utilisant des données non appariées (où le modèle apprend la transformation à partir de deux ensembles d’images non liés, comme un ensemble de photos de chevaux et un ensemble de photos de zèbres). Les fonctions de perte, telles que la perte L1/L2 (pixel à pixel), la perte antagoniste, la perte de cycle (pour les données non appariées) et les pertes perceptuelles, guident l’apprentissage du modèle.
L’importance de l’Image2Image réside dans sa capacité à automatiser et à améliorer des tâches complexes de manipulation d’images qui nécessiteraient autrement une expertise humaine considérable et du temps. Son impact est significatif dans de nombreux domaines, notamment l’infographie, la vision par ordinateur, l’art numérique, le divertissement et même la recherche scientifique. Il démocratise la création et la modification d’images avancées, ouvre de nouvelles voies pour l’expression créative et fournit des outils puissants pour le traitement et l’analyse de données visuelles. En permettant la traduction entre différents domaines visuels, il facilite la compréhension, la visualisation et l’exploitation des informations contenues dans les images d’une manière qui était auparavant difficile ou impossible.
Les applications pratiques de l’Image2Image sont vastes et variées. Parmi les utilisations courantes, on trouve le transfert de style, où le style artistique d’une image (par exemple, une peinture de Van Gogh) est appliqué au contenu d’une autre image (par exemple, une photographie). La colorisation automatique d’images en noir et blanc est une autre application populaire. La super-résolution, qui consiste à augmenter la résolution et les détails d’une image basse résolution, utilise également des techniques Image2Image. D’autres exemples incluent la génération de photos à partir d’esquisses (sketch-to-photo), la traduction entre domaines comme la conversion de photos de jour en photos de nuit, de cartes en vues satellites (et vice versa), ou la modification saisonnière de paysages. L’inpainting (remplissage de zones manquantes) et l’outpainting (extension des bords d’une image), la restauration d’images (suppression du bruit, du flou), la traduction d’images médicales (par exemple, IRM vers CT) et même la génération d’effets de vieillissement ou de rajeunissement sur des portraits sont des applications concrètes de ces technologies.
Il existe différentes nuances et variations dans les approches Image2Image. La principale distinction concerne l’utilisation de données appariées (comme dans Pix2Pix) ou non appariées (comme dans CycleGAN). Les méthodes varient également en fonction de l’architecture du réseau neuronal utilisée (différents types de GANs, U-Nets, modèles de diffusion), des fonctions de perte employées, et du degré de contrôle offert à l’utilisateur. Certaines techniques permettent une traduction un-à-un (une entrée donne une sortie spécifique), tandis que d’autres peuvent générer plusieurs sorties diverses pour une seule entrée. Plus récemment, des modèles combinent l’entrée image avec une entrée texte (prompt) pour guider plus finement la transformation, brouillant la frontière avec la génération d’image guidée par texte mais restant dans le paradigme Image2Image car une image d’entrée est toujours fondamentale.
Plusieurs concepts sont étroitement liés à l’Image2Image. La génération conditionnelle est un terme plus large qui inclut l’Image2Image mais aussi la génération d’images à partir de texte ou d’autres types de conditions. Les réseaux antagonistes génératifs (GANs) et les modèles de diffusion sont les familles de modèles sous-jacentes les plus couramment utilisées. La vision par ordinateur est le domaine plus large qui englobe l’analyse et la compréhension des images. Le transfert de style et la traduction de domaine sont souvent considérés comme des sous-domaines ou des applications spécifiques de l’Image2Image. Des termes comme « Image Translation » sont fréquemment utilisés comme synonymes directs. Conceptuellement, l’opposé serait la génération d’images non conditionnelle (création d’images à partir de rien ou de bruit aléatoire) ou les tâches d’analyse d’image comme la classification ou la détection d’objets, qui extraient des informations des images plutôt que de les transformer en d’autres images.
L’histoire de l’Image2Image en tant que domaine distinct est relativement récente et étroitement liée aux avancées de l’apprentissage profond. Bien que les techniques de traitement d’image pour modifier des images existent depuis des décennies (filtres, etc.), l’approche basée sur l’apprentissage automatique pour apprendre des transformations complexes a pris son essor avec la popularisation des réseaux neuronaux convolutifs (CNNs) et surtout des GANs à partir de 2014. Des publications marquantes comme « Image-to-Image Translation with Conditional Adversarial Networks » (Pix2Pix, 2017) et « Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks » (CycleGAN, 2017) ont été fondamentales pour définir et populariser le domaine, démontrant des résultats impressionnants sur des tâches variées avec des données appariées et non appariées respectivement. Depuis lors, la recherche a continué d’améliorer la qualité, la stabilité et la diversité des résultats, avec l’émergence des modèles de diffusion comme alternative puissante aux GANs pour de nombreuses tâches Image2Image au début des années 2020.
Le concept d’Image2Image présente plusieurs avantages notables. Il permet l’automatisation de tâches de manipulation d’images complexes et chronophages, produit souvent des résultats d’une qualité visuelle impressionnante, et offre une grande polyvalence pour aborder une large gamme de problèmes de transformation d’images. Il peut également être utilisé pour la création de données synthétiques (data augmentation). Cependant, il comporte aussi des inconvénients et des défis. L’entraînement de ces modèles nécessite souvent de grandes quantités de données (surtout pour les approches appariées) et une puissance de calcul considérable. Les modèles peuvent parfois générer des artefacts, des résultats non réalistes ou échouer à préserver des détails importants ou la cohérence globale de l’image. La nature « boîte noire » de certains modèles rend difficile l’interprétation de leurs décisions. De plus, le potentiel de mésusage, notamment pour la création de « deepfakes » ou la contrefaçon de style, soulève d’importantes questions éthiques. Les limitations incluent la dépendance à la qualité et à la représentativité des données d’entraînement et la difficulté potentielle à généraliser à des images très différentes de celles vues pendant l’entraînement. Atteindre un contrôle fin et intuitif sur le processus de transformation reste également un défi actif de recherche.