Le Compositional Image-Text Matching and Retrieval, ou appariement et recherche compositionnels image-texte en français, désigne une approche avancée dans le domaine de l’intelligence artificielle et de la vision par ordinateur qui vise à comprendre et à faire correspondre des images et des descriptions textuelles en analysant leurs composants structurels et les relations entre ces composants, plutôt que de les traiter comme des entités monolithiques. Cette méthode se concentre sur la décomposition des images en objets, attributs et leurs interrelations, et des textes en entités, prédicats et leurs structures syntaxiques et sémantiques, afin d’établir un alignement fin entre les deux modalités.
Les concepts fondamentaux du Compositional Image-Text Matching and Retrieval reposent sur le principe de compositionnalité, issu de la linguistique et de la philosophie du langage, qui stipule que le sens d’une expression complexe est déterminé par le sens de ses constituants et par les règles qui les combinent. Appliqué au domaine image-texte, cela signifie qu’une compréhension profonde d’une image et de sa description textuelle ne peut être atteinte qu’en identifiant les éléments individuels (comme les objets dans une image ou les mots dans une phrase) et, de manière cruciale, en comprenant comment ces éléments sont liés les uns aux autres (par exemple, les relations spatiales entre objets, ou les relations grammaticales entre mots). Les modèles d’apprentissage profond, en particulier les architectures basées sur les transformeurs et les mécanismes d’attention, jouent un rôle essentiel en apprenant à identifier ces composants et à modéliser leurs interactions. Ces systèmes construisent souvent des espaces d’intégration multimodaux (multimodal embedding spaces) où les représentations des images et des textes sont projetées, l’objectif étant que les paires image-texte sémantiquement similaires et structurellement cohérentes soient proches dans cet espace, même si elles impliquent de nouvelles combinaisons d’éléments.
L’importance du Compositional Image-Text Matching and Retrieval réside dans sa capacité à surmonter les limitations des approches plus traditionnelles qui effectuent un appariement global ou basé sur des « sacs de mots » ou des « sacs d’objets ». Ces dernières peinent souvent à distinguer des scènes ou des descriptions qui partagent les mêmes éléments mais dans des configurations différentes. Par exemple, « un chien chassant un chat » et « un chat chassant un chien » seraient difficilement différenciés sans une compréhension compositionnelle. En se concentrant sur la structure et les relations, cette approche permet une compréhension plus fine et plus précise, ce qui est crucial pour des tâches exigeant une granularité élevée. Son impact se manifeste par une amélioration significative de la pertinence des résultats dans la recherche d’images par requêtes textuelles complexes, une plus grande fidélité dans la génération de descriptions d’images, et une meilleure capacité de raisonnement dans les systèmes de questions-réponses visuelles. Cela ouvre la voie à des systèmes d’IA plus robustes, capables de généraliser à de nouvelles combinaisons d’objets et de relations non vues lors de l’entraînement.
Les applications pratiques du Compositional Image-Text Matching and Retrieval sont nombreuses et variées. Dans le domaine de la recherche d’images, il permet aux utilisateurs de formuler des requêtes très spécifiques, telles que « trouver des images d’un petit oiseau rouge perché sur la branche d’un pommier en fleurs ». En génération de descriptions d’images (image captioning), il conduit à des légendes plus détaillées et contextuellement pertinentes, décrivant non seulement les objets présents mais aussi leurs actions et leurs relations. Le domaine de la réponse visuelle à des questions (Visual Question Answering, VQA) bénéficie grandement de cette approche, car de nombreuses questions nécessitent de comprendre les interactions entre les objets d’une scène (par exemple, « De quelle couleur est la voiture garée derrière le camion bleu ? »). En robotique, la compréhension compositionnelle d’instructions multimodales permet aux robots d’interagir plus intelligemment avec leur environnement. D’autres applications incluent l’amélioration de l’accessibilité pour les personnes malvoyantes grâce à des descriptions d’images plus riches, l’optimisation de la recherche de produits dans le commerce électronique basée sur des attributs et des configurations spécifiques, et l’analyse de scènes complexes en matière de surveillance et de sécurité pour identifier des événements définis par des relations précises entre entités.
Il existe différentes nuances et perspectives dans l’étude et l’application du Compositional Image-Text Matching and Retrieval. La compositionnalité peut être appréhendée à plusieurs niveaux : cela peut concerner les attributs des objets (par exemple, « un cube rouge »), les relations spatiales (« le livre sur la table »), les relations d’action (« l’homme qui lance une balle »), ou même des relations plus abstraites comme la causalité ou l’intention. Les approches pour modéliser cette compositionnalité varient également ; certaines tentent de la modéliser de manière explicite, par exemple en utilisant des graphes de scène (scene graphs) qui représentent les objets et leurs relations sous forme de structure graphique, tandis que d’autres l’apprennent de manière implicite à travers des mécanismes d’attention complexes au sein de réseaux de neurones profonds. L’évaluation de la véritable compréhension compositionnelle d’un modèle reste un défi, nécessitant des benchmarks et des métriques spécifiquement conçus pour tester la capacité à généraliser à de nouvelles combinaisons d’éléments plutôt qu’à simplement mémoriser des configurations vues lors de l’entraînement.
Plusieurs concepts sont étroitement liés au Compositional Image-Text Matching and Retrieval. L’apprentissage multimodal (multimodal learning) est le champ plus large qui englobe l’apprentissage à partir de plusieurs types de données. Les représentations multimodales (multimodal representations) sont au cœur de ces systèmes, visant à créer des espaces vectoriels communs pour l’image et le texte. L’alignement image-texte (image-text alignment) est un objectif fondamental, la compositionnalité permettant un alignement plus fin au niveau des composants. Les graphes de scène (scene graphs) sont une structure de données souvent utilisée pour représenter explicitement la compositionnalité des images. Les mécanismes d’attention (attention mechanisms), en particulier dans les modèles Transformer, sont des outils clés pour identifier et pondérer l’importance des différents composants et de leurs relations. Des tâches comme le Visual Question Answering (VQA) et l’Image Captioning sont des applications directes et des bancs d’essai pour ces techniques. La capacité de généralisation à des combinaisons inédites rapproche ce domaine du Zero-Shot Learning et du Few-Shot Learning. En termes de synonymes partiels, on peut trouver « fine-grained image-text retrieval » (recherche image-texte à grain fin) ou « structured image-text understanding » (compréhension structurée image-texte). À l’opposé, des approches comme le « global image-text matching » (appariement global image-texte) ou les modèles « bag-of-words » / « bag-of-features » représentent des méthodes moins compositionnelles, se concentrant sur la présence globale d’éléments plutôt que sur leur structure relationnelle.
L’évolution vers le Compositional Image-Text Matching and Retrieval a été progressive. Les premières tentatives d’appariement image-texte se concentraient souvent sur des caractéristiques globales de l’image et du texte. La nécessité d’une compréhension plus fine est apparue avec l’augmentation de la complexité des tâches et des attentes des utilisateurs. Les avancées en linguistique computationnelle, notamment sur la sémantique compositionnelle et l’analyse syntaxique, ont fourni des cadres théoriques. Un moteur clé de cette évolution a été la disponibilité de grands ensembles de données (datasets) annotés avec une richesse de détails, tels que COCO (Common Objects in Context) qui fournit des segmentations d’objets et des descriptions, et Visual Genome qui offre des annotations encore plus denses incluant des objets, des attributs, et des relations. Plus récemment, l’avènement et la domination des architectures de type Transformer, avec leurs puissants mécanismes d’auto-attention et d’attention croisée, ont fourni les outils computationnels nécessaires pour modéliser efficacement les dépendances à longue portée et les relations complexes entre les éléments constitutifs des images et des textes. Parallèlement, les métriques d’évaluation ont également évolué pour tenter de mieux capturer la performance compositionnelle au-delà de la simple exactitude de l’appariement global.
Le Compositional Image-Text Matching and Retrieval offre des avantages significatifs, notamment une précision accrue dans la recherche et la compréhension des correspondances image-texte, permettant de distinguer des nuances subtiles. Il favorise une meilleure généralisation à des scènes ou des descriptions inédites composées d’éléments connus mais arrangés différemment, et une plus grande robustesse face aux variations. Lorsque la compositionnalité est modélisée de manière explicite, elle peut également offrir un certain degré d’explicabilité des décisions du modèle. Cependant, cette approche présente aussi des inconvénients et des défis. Les modèles capables de gérer la compositionnalité sont souvent plus complexes, nécessitant d’importantes ressources computationnelles pour l’entraînement et l’inférence. L’entraînement de tels modèles peut exiger des ensembles de données volumineux avec des annotations détaillées des composants et de leurs relations (par exemple, des graphes de scène), bien que des recherches actives explorent des méthodes d’apprentissage faiblement supervisées ou non supervisées. L’évaluation reste une difficulté majeure : il est complexe de concevoir des benchmarks et des métriques qui mesurent de manière fiable la véritable compréhension compositionnelle et la capacité de généralisation systématique. Les modèles peuvent également hériter et amplifier les biais présents dans les données d’entraînement, apprenant des corrélations fallacieuses entre objets et relations. Gérer l’explosion combinatoire du nombre d’objets, d’attributs et de relations possibles à grande échelle est un autre défi technique. Enfin, l’ambiguïté inhérente au langage naturel et à l’interprétation visuelle (par exemple, une description textuelle peut correspondre à plusieurs configurations visuelles, et vice-versa) complique la modélisation. Parmi les limitations actuelles, on note que la modélisation fine du raisonnement causal, de la connaissance du monde implicite, et du contexte culturel reste largement hors de portée des systèmes actuels, même les plus avancés en matière de compositionnalité.