Saliency Maps
Une Saliency Map, ou carte de saillance en français, est une représentation visuelle, typiquement une image en niveaux de gris ou en fausses couleurs, qui met en évidence les régions les plus importantes ou les plus saillantes d’une image ou d’une autre donnée d’entrée. L’importance ou la saillance est définie par rapport à une tâche spécifique ou à un modèle perceptuel, indiquant les zones qui attirent le plus l’attention ou qui contribuent le plus à une décision ou à une prédiction donnée.
Les concepts fondamentaux derrière les cartes de saillance trouvent leur origine dans l’étude de l’attention visuelle humaine. Les psychologues et neuroscientifiques ont observé que le système visuel humain ne traite pas toutes les informations d’une scène avec la même intensité. Au contraire, il sélectionne de manière sélective les régions jugées les plus pertinentes ou intéressantes. Initialement, les modèles de saillance visaient à prédire ces régions en se basant sur des caractéristiques visuelles de bas niveau (bottom-up), telles que les forts contrastes de luminance, les couleurs vives ou inhabituelles, et les orientations distinctes de bords ou de textures. Ces caractéristiques sont combinées pour former une carte maîtresse indiquant la probabilité qu’une région attire le regard. Plus tard, des modèles intégrant des informations de haut niveau (top-down), comme la connaissance préalable des objets ou le but de l’observateur, ont été développés pour affiner la prédiction de la saillance.
L’importance des cartes de saillance est considérable dans plusieurs domaines. En vision par ordinateur, elles permettent de focaliser les ressources de calcul sur les parties pertinentes d’une image, améliorant l’efficacité d’algorithmes tels que la détection et la reconnaissance d’objets, ou la compression d’images. Dans le domaine de l’apprentissage automatique, et plus spécifiquement de l’apprentissage profond (deep learning), les cartes de saillance sont devenues un outil essentiel pour l’interprétabilité des modèles. Elles aident à comprendre pourquoi un réseau de neurones prend une décision particulière (par exemple, pourquoi il classe une image comme « chat ») en visualisant les pixels d’entrée qui ont le plus influencé cette décision. Cette capacité à « ouvrir la boîte noire » est cruciale pour la confiance, le débogage et l’amélioration des systèmes d’intelligence artificielle. Enfin, en sciences cognitives et neurosciences, les modèles de saillance continuent d’être utilisés pour étudier et simuler les mécanismes de l’attention visuelle humaine et animale.
Les applications pratiques des cartes de saillance sont variées. Dans la compression d’images et de vidéos, les régions moins saillantes peuvent être codées avec une qualité inférieure sans dégradation perceptible de la qualité globale, optimisant ainsi la taille des fichiers. En retouche photo, elles peuvent guider des ajustements automatiques pour améliorer l’impact visuel d’une image. Les systèmes de détection d’objets et de segmentation d’images les utilisent pour proposer des régions candidates où chercher des objets d’intérêt. En robotique, un robot peut utiliser une carte de saillance pour diriger son « regard » (sa caméra) vers les zones les plus informatives de son environnement. Dans le domaine de l’ergonomie des interfaces et de la publicité, prédire les zones qui attireront le regard de l’utilisateur permet d’optimiser le placement des informations importantes ou des appels à l’action. Un exemple concret en interprétabilité IA est l’utilisation de méthodes comme Grad-CAM pour générer une carte de chaleur superposée à une radiographie pulmonaire, indiquant les zones que le modèle IA a jugées les plus suspectes pour diagnostiquer une maladie.
Il existe différentes nuances et interprétations du terme « Saliency Map ». Une distinction majeure doit être faite entre la saillance visuelle prédictive, qui cherche à modéliser et prédire où un humain regarderait dans une image (basée sur les principes de l’attention visuelle), et la saillance d’attribution (ou d’explication), qui vise à expliquer la décision d’un modèle d’apprentissage automatique en identifiant les caractéristiques d’entrée les plus influentes. Bien que les deux produisent des cartes visuelles, leurs objectifs et méthodes de calcul diffèrent. De nombreuses méthodes existent pour calculer les cartes de saillance d’attribution pour les réseaux de neurones, incluant les méthodes basées sur le gradient (calculant la sensibilité de la sortie par rapport aux entrées), les méthodes basées sur la perturbation (observant l’effet de la modification de parties de l’entrée sur la sortie), et les méthodes basées sur les activations internes du réseau (comme CAM, Grad-CAM, Grad-CAM++). Le concept de saillance n’est pas non plus limité aux images ; des cartes de saillance peuvent être générées pour des données audio (indiquant les moments ou fréquences importants) ou textuelles (mettant en évidence les mots ou phrases clés pour une classification de texte).
Plusieurs concepts sont étroitement liés aux cartes de saillance. L’attention visuelle est le concept psychologique et biologique fondamental qui les sous-tend. Les cartes d’activation (Activation Maps) et les cartes de caractéristiques (Feature Maps) sont des représentations internes des réseaux de neurones qui sont souvent utilisées pour calculer certains types de cartes de saillance (comme CAM). Les données de suivi oculaire (eye-tracking), mesurant les fixations oculaires humaines, servent souvent de vérité terrain pour évaluer les modèles de saillance visuelle prédictive. L’interprétabilité des modèles et l’intelligence artificielle explicable (XAI) sont les domaines où les cartes de saillance d’attribution jouent un rôle crucial. Bien que parfois utilisés comme synonymes, les termes « cartes d’attention » (Attention Maps) peuvent aussi désigner spécifiquement les poids appris par les mécanismes d’attention dans certaines architectures de réseaux de neurones, ce qui est conceptuellement proche mais techniquement distinct. Les cartes de pertinence (Relevance Maps) sont un autre terme souvent utilisé de manière interchangeable avec les cartes de saillance d’attribution. L’antonyme conceptuel serait les régions non saillantes ou l’arrière-plan (background) d’une image ou d’une donnée.
L’histoire des cartes de saillance remonte aux travaux pionniers sur la modélisation de l’attention visuelle dans les années 1980, notamment le modèle de Koch et Ullman. Le modèle computationnel proposé par Laurent Itti, Christof Koch et Ernst Niebur à la fin des années 1990 est devenu une référence majeure pour la saillance visuelle « bottom-up ». Avec l’avènement de l’apprentissage profond dans les années 2010, l’intérêt s’est déplacé. D’une part, les réseaux de neurones profonds ont permis de créer des modèles de saillance visuelle prédictive plus performants. D’autre part, et de manière plus significative, le besoin de comprendre les décisions de ces modèles complexes a conduit au développement rapide de techniques de génération de cartes de saillance d’attribution, transformant ces cartes en un outil central de l’IA explicable.
Les cartes de saillance présentent plusieurs avantages. Elles offrent une visualisation intuitive et facile à comprendre des régions importantes d’une donnée, ce qui est précieux pour l’analyse, le débogage et la communication. Elles peuvent guider l’optimisation d’algorithmes et l’amélioration de la conception. Cependant, elles ont aussi des inconvénients et des limitations. La fiabilité des cartes de saillance d’attribution peut varier considérablement en fonction de la méthode de calcul utilisée ; certaines méthodes peuvent être trompeuses ou ne pas refléter fidèlement le raisonnement du modèle. L’évaluation quantitative de la qualité d’une carte de saillance d’attribution reste un défi. De plus, une carte de saillance montre souvent une corrélation (quels pixels sont associés à la sortie) plutôt qu’une causalité stricte (quels pixels causent la sortie). Enfin, la génération de certaines cartes de saillance, en particulier celles basées sur la perturbation, peut être coûteuse en termes de calcul. Malgré ces défis, les cartes de saillance demeurent un outil précieux et largement utilisé pour l’exploration et l’explication des données visuelles et des modèles qui les traitent.