Image Captioning Hallucinations
Image Captioning Hallucinations désignent un phénomène spécifique dans le domaine de l’intelligence artificielle où un modèle de génération de légendes d’images produit des descriptions textuelles contenant des informations factuellement incorrectes, non fondées ou entièrement fabriquées qui ne correspondent pas au contenu visuel réel de l’image. Ces hallucinations peuvent se manifester par l’invention d’objets, d’attributs, de relations ou d’actions qui ne sont pas présents ou ne se produisent pas dans la scène imagée. Essentiellement, le modèle « hallucine » des détails plutôt que de décrire fidèlement ce qu’il « voit ».
Les concepts fondamentaux sous-jacents aux hallucinations dans la génération de légendes d’images reposent sur l’architecture et le processus d’entraînement des modèles eux-mêmes. Typiquement, ces systèmes utilisent une architecture encodeur-décodeur. L’encodeur, souvent un réseau neuronal convolutif (CNN), traite l’image pour extraire des caractéristiques visuelles pertinentes. Le décodeur, généralement un réseau neuronal récurrent (RNN) ou un Transformer, prend ces caractéristiques visuelles et génère une séquence de mots (la légende). Les hallucinations surviennent souvent à cause d’un découplage entre les informations visuelles fournies par l’encodeur et le processus de génération de langage du décodeur. Le décodeur peut trop s’appuyer sur les motifs linguistiques appris pendant l’entraînement (ses « a priori » linguistiques) au détriment des preuves visuelles concrètes, ou mal interpréter les caractéristiques visuelles ambiguës ou complexes. Des biais dans les données d’entraînement, où certaines associations d’objets ou de contextes sont surreprésentées, peuvent également pousser le modèle à générer des éléments attendus mais absents.
L’importance et la pertinence des hallucinations dans la génération de légendes sont considérables, car elles touchent directement à la fiabilité et à la confiance que l’on peut accorder aux systèmes d’IA. Des légendes inexactes peuvent conduire à la désinformation, à des malentendus et à des prises de décision erronées. L’impact est particulièrement critique dans les domaines où la précision est primordiale. Par exemple, pour les outils d’accessibilité destinés aux personnes malvoyantes, une légende hallucinée décrivant un obstacle inexistant ou omettant un danger réel peut avoir des conséquences graves sur la sécurité. Dans la recherche scientifique (par exemple, l’analyse d’images médicales ou astronomiques), des descriptions erronées peuvent fausser les interprétations. De même, dans la modération de contenu ou la surveillance, identifier incorrectement des objets ou des actions peut entraîner des erreurs de jugement. La présence d’hallucinations sape la crédibilité globale de la technologie.
Les applications pratiques de la génération de légendes d’images sont nombreuses : indexation et recherche d’images améliorées (permettant de rechercher des images par leur contenu descriptif), génération automatique de textes alternatifs (alt text) pour l’accessibilité web, assistance aux personnes malvoyantes, robotique (pour que les robots comprennent leur environnement), création de contenu automatisée pour les médias sociaux, et analyse de scènes dans les systèmes de surveillance. Cependant, les hallucinations limitent l’efficacité dans toutes ces applications. Un exemple concret d’hallucination serait une image montrant un chien noir jouant dans un parc ; le modèle pourrait générer la légende : « Un chien noir et un chat blanc jouent avec une balle rouge dans un parc ». Ici, le « chat blanc » et la « balle rouge » sont des hallucinations, des objets inventés par le modèle. Un autre exemple pourrait être une image d’une cuisine simple, et la légende générée : « Une cuisine moderne avec des appareils en acier inoxydable et un chef préparant un repas gastronomique », alors qu’il n’y a ni appareils spécifiques ni chef.
Il existe différentes nuances et types d’hallucinations en génération de légendes. On distingue principalement : les hallucinations d’objets (le modèle mentionne des objets qui n’existent pas dans l’image), les hallucinations d’attributs (le modèle attribue des propriétés incorrectes comme la couleur, la taille ou la matière aux objets présents), et les hallucinations de relations (le modèle décrit des interactions ou des positionnements spatiaux erronés entre les objets présents). La gravité des hallucinations peut varier, allant d’inexactitudes mineures (mentionner une « tasse bleue » au lieu d’une « tasse verte ») à des fabrications complètes qui déforment radicalement la compréhension de la scène. Il est important de distinguer l’hallucination d’une simple imprécision ou d’un manque de spécificité (par exemple, dire « un oiseau » au lieu de « un moineau »). L’hallucination implique une affirmation positive sur quelque chose de non-étayé par l’image.
Plusieurs concepts sont étroitement liés aux hallucinations en génération de légendes. La « fidélité » (faithfulness) ou la « factualité » (factuality) sont des termes souvent utilisés pour désigner la qualité souhaitée, c’est-à-dire la capacité du modèle à générer des légendes qui sont strictement basées sur le contenu visuel. Le « grounding » (ancrage visuel) fait référence à la capacité du modèle à lier spécifiquement chaque mot ou phrase généré à une région correspondante dans l’image, ce qui est un mécanisme clé pour éviter les hallucinations. Les hallucinations en génération de légendes sont une forme spécifique d’un problème plus large connu sous le nom d’hallucinations dans les modèles d’IA générative, qui affecte également les grands modèles de langage (LLM) lors de la génération de texte. Des métriques d’évaluation spécifiques, comme CHAIR (Caption Hallucination Assessment with Image Relevance), ont été développées pour mesurer quantitativement le taux d’hallucination des modèles. L’antonyme serait une légende « factuellement correcte », « fidèle » ou « bien ancrée ».
L’étude des hallucinations en génération de légendes a émergé comme un sujet de recherche distinct avec l’avènement des modèles neuronaux profonds pour cette tâche, aux alentours de 2015. Alors que les premiers modèles démontraient des capacités impressionnantes à générer des descriptions fluides et souvent pertinentes, les chercheurs ont rapidement identifié ce mode d’échec où les modèles inventaient des détails. Ce phénomène a été reconnu comme une limitation majeure, distincte des simples erreurs de reconnaissance d’objets. Les travaux ultérieurs se sont concentrés sur la compréhension des causes (biais des données, faiblesses architecturales, problèmes d’attention) et sur le développement de techniques pour détecter et atténuer ces hallucinations, ce qui reste un domaine de recherche actif.
Les principaux inconvénients et défis associés aux hallucinations sont la perte de confiance des utilisateurs, les risques pour la sécurité et la fiabilité, et la limitation de l’applicabilité pratique des systèmes de génération de légendes. Évaluer automatiquement la présence d’hallucinations est également difficile, car cela nécessite une comparaison sémantique fine entre le texte et l’image, qui va au-delà des métriques traditionnelles comme BLEU ou CIDEr, lesquelles évaluent la similarité avec des légendes de référence humaines mais pas nécessairement la factualité par rapport à l’image elle-même. Les avantages potentiels d’une génération de légendes sans hallucination sont immenses (accessibilité améliorée, recherche d’informations efficace, interaction homme-robot plus sûre). Les stratégies d’atténuation actuelles incluent l’amélioration des jeux de données (plus diversifiés, mieux annotés), le perfectionnement des architectures de modèles (mécanismes d’attention améliorés, techniques de grounding explicites), l’utilisation de scores de confiance pour les éléments générés, le filtrage post-génération, et l’intégration de boucles de rétroaction humaine. Cependant, éliminer complètement les hallucinations tout en conservant des légendes informatives et naturelles reste un défi ouvert.