Auto-Attention
L’Auto-Attention, également connue sous le nom de self-attention en anglais, est un mécanisme d’attention qui permet à un modèle de traitement de l’information de pondérer différemment l’importance des différents éléments au sein d’une même séquence d’entrée pour calculer une représentation de cette séquence. Contrairement aux mécanismes d’attention traditionnels qui peuvent relier des éléments de deux séquences différentes (par exemple, dans la traduction automatique entre une phrase source et une phrase cible), l’auto-attention relie différentes positions de la même séquence. Elle permet ainsi aux modèles de capturer les dépendances internes et les relations contextuelles entre les mots ou les éléments d’une séquence, quelle que soit leur distance.
Les concepts fondamentaux de l’auto-attention reposent sur l’idée de calculer des représentations contextuelles pour chaque élément d’une séquence en se basant sur tous les autres éléments de cette même séquence. Pour chaque élément, le mécanisme d’auto-attention calcule trois vecteurs : une requête (Query ou Q), une clé (Key ou K) et une valeur (Value ou V). Ces vecteurs sont typiquement obtenus en multipliant la représentation de l’élément d’entrée par des matrices de poids apprises pendant l’entraînement du modèle. L’étape suivante consiste à calculer un score d’attention pour chaque paire de requête (d’un élément) et de clé (d’un autre élément de la séquence). Ce score est souvent calculé par un produit scalaire entre la requête et la clé, parfois suivi d’une mise à l’échelle (par exemple, division par la racine carrée de la dimension des vecteurs clé). Ces scores sont ensuite normalisés à l’aide d’une fonction softmax pour obtenir des poids d’attention. Ces poids, qui somment à un, indiquent l’importance relative de chaque élément de la séquence pour la représentation de l’élément courant. Enfin, la sortie de l’auto-attention pour un élément donné est une somme pondérée des vecteurs valeur de tous les éléments de la séquence, où les poids sont les poids d’attention calculés. Ainsi, chaque élément de la séquence obtient une nouvelle représentation qui intègre des informations contextuelles provenant de l’ensemble de la séquence.
L’importance de l’auto-attention dans le domaine de l’intelligence artificielle, et plus particulièrement dans l’apprentissage profond, est considérable. Elle a été popularisée par le modèle Transformer, introduit en 2017, qui a révolutionné le traitement automatique du langage naturel (TALN). L’auto-attention permet aux modèles de traiter les dépendances à longue portée dans les séquences, un défi majeur pour les architectures précédentes comme les réseaux de neurones récurrents (RNN) qui peinaient à maintenir l’information sur de longues distances. De plus, les calculs d’auto-attention peuvent être largement parallélisés, ce qui accélère considérablement l’entraînement des modèles sur des architectures matérielles modernes comme les GPU. Son impact s’étend au-delà du TALN, trouvant des applications en vision par ordinateur, en traitement de la parole, et dans d’autres domaines où la modélisation de relations contextuelles au sein de données séquentielles ou structurées est cruciale.
Les applications pratiques de l’auto-attention sont nombreuses et variées. Dans le domaine du TALN, elle est au cœur de modèles de pointe pour la traduction automatique, où elle permet de mieux aligner les mots entre les langues source et cible et de comprendre le contexte global de la phrase. Elle est également utilisée dans la génération de texte, où le modèle peut se concentrer sur les parties pertinentes du texte déjà généré pour produire la suite de manière cohérente. Le résumé automatique de texte bénéficie de l’auto-attention pour identifier les phrases ou les mots les plus importants d’un document. L’analyse de sentiments, la réponse aux questions, et la compréhension de texte en général sont d’autres applications où l’auto-attention améliore significativement les performances. En vision par ordinateur, l’auto-attention peut être utilisée pour permettre à un modèle de se concentrer sur des régions pertinentes d’une image ou pour modéliser les relations entre différentes parties d’une image, par exemple dans la reconnaissance d’objets ou la segmentation d’images. Un exemple concret serait un modèle de traduction qui, en traduisant une phrase, utilise l’auto-attention pour déterminer à quel mot de la phrase source se réfère un pronom dans la phrase cible, même si ces mots sont éloignés.
Il existe plusieurs nuances et variations du mécanisme d’auto-attention. L’une des plus courantes est l’auto-attention multi-têtes (multi-head self-attention). Au lieu de calculer l’attention une seule fois, cette approche exécute le mécanisme d’auto-attention plusieurs fois en parallèle, avec différentes projections linéaires des requêtes, clés et valeurs. Les sorties de ces « têtes » d’attention sont ensuite concaténées et projetées à nouveau pour obtenir la représentation finale. Cela permet au modèle d’apprendre différentes relations contextuelles et de se concentrer simultanément sur différents aspects de l’information. Une autre variation importante est l’auto-attention masquée (masked self-attention), utilisée principalement dans les décodeurs des modèles Transformer. Elle empêche le modèle de « regarder » les positions futures dans la séquence lors du calcul de l’attention pour une position donnée, ce qui est essentiel pour les tâches de génération de séquences où la sortie est produite de manière séquentielle. Des recherches continues visent à améliorer l’efficacité de l’auto-attention, notamment pour les très longues séquences, donnant lieu à des variantes comme l’auto-attention clairsemée (sparse self-attention) qui ne calcule l’attention que pour un sous-ensemble de paires d’éléments, ou des mécanismes d’attention plus efficaces en termes de calcul.
L’auto-attention est étroitement liée à plusieurs autres concepts en apprentissage profond. Elle est une forme spécifiques du concept plus général de mécanisme d’attention, qui a été initialement introduit dans le contexte des modèles séquence-à-séquence pour améliorer la traduction automatique. Les réseaux de neurones récurrents (RNN) et les réseaux de neurones à mémoire court-long terme (LSTM) étaient les architectures dominantes pour le traitement séquentiel avant l’avènement de l’auto-attention, mais ils traitaient les séquences de manière séquentielle, ce qui limitait leur capacité à capturer les dépendances à longue portée et leur parallélisation. Les réseaux de neurones convolutifs (CNN) ont également été utilisés pour le traitement de séquences, mais ils ont généralement un champ réceptif limité, bien que des techniques existent pour l’élargir. Le modèle Transformer, qui repose presque entièrement sur l’auto-attention et les réseaux feed-forward, est le concept le plus directement associé à l’auto-attention. En termes de concepts antonymiques, on pourrait considérer les approches qui traitent chaque élément d’une séquence de manière isolée ou uniquement en fonction de ses voisins immédiats, sans considération du contexte global fourni par l’auto-attention. Il n’y a pas de synonyme direct strict, mais on pourrait parler de « mécanisme d’attention intra-séquence ».
L’origine de l’auto-attention en tant que mécanisme central d’une architecture de réseau de neurones est principalement attribuée à l’article « Attention Is All You Need » publié par Vaswani et ses collègues de Google Brain et Google Research en 2017. Bien que des idées similaires d’attention intra-séquence existaient déjà dans certaines recherches antérieures (par exemple, pour la lecture de documents ou l’analyse de phrases), cet article a été le premier à proposer une architecture, le Transformer, qui se dispensait entièrement des mécanismes de récurrence et de convolution pour le traitement séquentiel, en s’appuyant uniquement sur l’auto-attention. Cette publication a marqué un tournant majeur dans le domaine, conduisant à une explosion de recherches et d’applications basées sur le Transformer et l’auto-attention. Depuis lors, l’évolution de l’auto-attention a été rapide, avec de nombreuses variantes proposées pour améliorer son efficacité, son expressivité et son applicabilité à différents types de données et de tâches.
L’auto-attention présente de nombreux avantages qui expliquent son succès. Sa capacité à modéliser les dépendances à longue portée entre les éléments d’une séquence est l’un de ses atouts majeurs, surpassant les RNNs sur cet aspect. Elle permet également un haut degré de parallélisation des calculs, ce qui réduit considérablement les temps d’entraînement par rapport aux architectures séquentielles comme les RNNs. Un autre avantage est l’interprétabilité : les poids d’attention peuvent être visualisés pour comprendre quelles parties de la séquence d’entrée le modèle considère comme importantes pour une prédiction donnée. Cependant, l’auto-attention a aussi des inconvénients et des défis. Le principal inconvénient est sa complexité computationnelle et mnésique, qui est quadratique par rapport à la longueur de la séquence (O(n^2) où n est la longueur de la séquence). Cela la rend coûteuse à appliquer sur de très longues séquences, comme des documents entiers ou des vidéos haute résolution. De nombreuses recherches actuelles se concentrent sur la résolution de ce problème, en développant des approximations de l’auto-attention ou des mécanismes d’attention plus efficaces (par exemple, linéaires en complexité). Un autre défi est que l’auto-attention, dans sa forme de base, ne prend pas en compte l’ordre des éléments de la séquence (elle est invariante aux permutations). Pour pallier cela, les modèles Transformer injectent des informations de position (positional encodings) dans les représentations d’entrée. Malgré ces limitations, l’auto-attention reste un outil fondamental et puissant dans l’arsenal de l’apprentissage profond moderne.