Le terme « Transformer » désigne une architecture de réseau de neurones profonds qui a révolutionné le domaine de l’intelligence artificielle, en particulier le traitement du langage naturel (NLP). Bien que le mot « transformateur » existe également en électrotechnique pour désigner un appareil modifiant la tension et l’intensité d’un courant électrique, cette entrée de glossaire se concentre exclusivement sur sa signification et son application dans le contexte de l’apprentissage profond. L’architecture Transformer a été introduite en 2017 et est devenue depuis la base de nombreux modèles de pointe dans divers domaines. Sa caractéristique principale est l’utilisation extensive du mécanisme d’attention, permettant de modéliser des dépendances à longue portée dans les données de manière efficace et parallélisable.
Les concepts fondamentaux et les principes essentiels des Transformers reposent sur plusieurs innovations clés. Au cœur de l’architecture se trouve le mécanisme d’auto-attention (self-attention). Celui-ci permet au modèle de peser l’importance de différents éléments au sein d’une même séquence d’entrée (par exemple, les mots d’une phrase) pour calculer une représentation de chaque élément. Ainsi, la représentation d’un mot est informée par son contexte direct et distant au sein de la phrase. Pour enrichir cette capacité, les Transformers utilisent l’attention multi-têtes (multi-head attention), qui exécute le mécanisme d’attention plusieurs fois en parallèle avec différentes projections linéaires des entrées. Cela permet au modèle de capturer simultanément différents types de relations et d’informations contextuelles à partir de divers sous-espaces de représentation. Étant donné que l’architecture du Transformer ne traite pas intrinsèquement l’ordre séquentiel des données (contrairement aux réseaux de neurones récurrents), une information de position est explicitement ajoutée aux représentations d’entrée via l’encodage positionnel (positional encoding). Typiquement, les Transformers adoptent une structure encodeur-décodeur pour les tâches de séquence à séquence comme la traduction. L’encodeur traite la séquence d’entrée et génère une série de représentations contextuelles. Le décodeur utilise ensuite ces représentations pour générer la séquence de sortie, un élément à la fois, en utilisant également des mécanismes d’attention sur la sortie déjà générée et sur les sorties de l’encodeur. Enfin, pour faciliter l’entraînement de réseaux aussi profonds, les Transformers intègrent des connexions résiduelles (residual connections) autour de chaque sous-couche (attention et réseaux de neurones feed-forward), suivies d’une normalisation de couche (layer normalization).
L’importance, la pertinence et l’impact des Transformers sont considérables. Ils ont marqué un tournant majeur, en particulier dans le traitement du langage naturel, en surpassant significativement les performances des architectures précédentes comme les réseaux de neurones récurrents (RNN) et les réseaux de neurones à mémoire court et long terme (LSTM) sur une vaste gamme de tâches. L’une des raisons principales de ce succès est leur capacité à gérer efficacement les dépendances à longue portée, c’est-à-dire à relier des informations qui sont éloignées l’une de l’autre dans une séquence. De plus, contrairement aux RNN qui traitent les séquences de manière séquentielle et itérative, les calculs au sein d’un Transformer, notamment ceux liés à l’attention, peuvent être largement parallélisés. Cette parallélisation a permis d’entraîner des modèles beaucoup plus grands sur des ensembles de données massifs, conduisant à l’émergence de modèles pré-entraînés à grande échelle tels que BERT et GPT. Ces modèles pré-entraînés peuvent ensuite être affinés (fine-tuned) pour des tâches spécifiques avec des quantités de données relativement faibles, démocratisant l’accès à des performances de pointe. L’impact des Transformers ne se limite pas au NLP ; leur architecture s’est avérée suffisamment flexible et puissante pour être adaptée avec succès à d’autres domaines, notamment la vision par ordinateur (avec les Vision Transformers ou ViT), la biologie computationnelle (par exemple, AlphaFold 2 pour la prédiction de la structure des protéines), la reconnaissance vocale et même la prédiction de séries temporelles.
Les applications pratiques et les utilisations courantes des Transformers sont nombreuses et en constante expansion. Dans le domaine du NLP, ils sont au cœur des systèmes de traduction automatique neuronale (NMT) modernes, comme ceux utilisés par Google Translate et DeepL, offrant des traductions plus fluides et précises. La génération de texte est une autre application phare, avec des modèles comme la série GPT capables de produire des textes cohérents et contextuellement pertinents, allant de la rédaction d’e-mails à la création de contenu créatif, en passant par la génération de code informatique. Les Transformers excellent également dans la compréhension du langage naturel (NLU), alimentant des tâches telles que la classification de texte, l’analyse de sentiment, l’extraction d’entités nommées, la réponse à des questions (question answering) et les systèmes de dialogue avancés (chatbots). Les moteurs de recherche, comme Google, utilisent des modèles basés sur les Transformers (par exemple, BERT) pour mieux comprendre les requêtes des utilisateurs et fournir des résultats plus pertinents. En vision par ordinateur, les Vision Transformers (ViT) et leurs dérivés sont utilisés pour la classification d’images, la détection d’objets et la segmentation d’images, rivalisant et parfois surpassant les approches traditionnelles basées sur les réseaux de neurones convolutifs. En biologie, AlphaFold 2, qui utilise des mécanismes inspirés des Transformers, a réalisé une percée majeure dans la prédiction de la structure tridimensionnelle des protéines à partir de leur séquence d’acides aminés. D’autres applications incluent la reconnaissance vocale, la génération de musique et l’analyse de données financières.
Il existe différentes nuances, interprétations, perspectives et variations du terme Transformer, principalement liées à des adaptations architecturales spécifiques ou à des débats au sein de la communauté de recherche. On distingue plusieurs grandes familles d’architectures Transformer. Les modèles de type encodeur-seulement (encoder-only), comme BERT, RoBERTa et ALBERT, sont conçus pour générer des représentations riches du contexte et sont particulièrement efficaces pour les tâches de compréhension du langage (classification, extraction d’information). Les modèles de type décodeur-seulement (decoder-only), tels que la série GPT et BLOOM, sont auto-régressifs et optimisés pour la génération de texte séquentielle. Enfin, les modèles encodeur-décodeur complets, comme le Transformer original, T5 et BART, sont utilisés pour les tâches de transduction de séquence à séquence, telles que la traduction ou le résumé. Face à la complexité quadratique du mécanisme d’auto-attention par rapport à la longueur de la séquence, de nombreuses recherches ont visé à développer des variantes plus efficaces, comme Longformer, Reformer, Linformer ou Performer, qui cherchent à réduire cette complexité pour traiter des séquences plus longues. L’adaptabilité du concept de Transformer est également illustrée par son application à d’autres modalités, comme les Vision Transformers (ViT) pour les images, qui traitent des patchs d’image comme des tokens, ou Wave2Vec2 pour l’audio. Des débats persistent quant à l’interprétabilité réelle des poids d’attention (indiquent-ils vraiment ce que le modèle « regarde » ?), à l’impact environnemental de l’entraînement de modèles toujours plus grands, et à la question de savoir si la simple augmentation de la taille des modèles (scaling laws) est une voie durable vers une intelligence artificielle plus générale.
Pour une compréhension holistique du Transformer, il est utile de le situer par rapport à d’autres concepts. Il s’inscrit dans le cadre plus large de l’apprentissage profond (Deep Learning) et des réseaux de neurones artificiels. Le traitement du langage naturel (NLP) est le domaine où il a initialement émergé et eu le plus d’impact. Le mécanisme d’attention est un concept fondamental dont le Transformer est une application sophistiquée. Les plongements de mots (word embeddings), tels que Word2Vec ou GloVe, servent souvent de représentations initiales des tokens d’entrée pour les modèles Transformer. Les Transformers sont fréquemment utilisés pour construire des modèles de langage (Language Models), qui apprennent la distribution de probabilité du langage. Le transfert d’apprentissage (Transfer Learning) est une technique clé associée aux grands modèles Transformer pré-entraînés. Bien qu’il n’y ait pas de synonyme direct pour l’architecture Transformer elle-même, on parle parfois de « modèles basés sur l’attention » ou, plus spécifiquement pour les grands modèles génératifs, de « grands modèles de langage » (LLM) lorsque ceux-ci sont basés sur cette architecture. En termes d’approches alternatives ou antérieures, on peut citer les réseaux de neurones récurrents (RNN), y compris les LSTM et les GRU, qui traitaient les séquences de manière itérative avant d’être largement supplantés par les Transformers pour de nombreuses tâches en raison de limitations en matière de parallélisation et de capture des dépendances à très longue portée. Les réseaux de neurones convolutifs (CNN) ont également été utilisés pour certaines tâches séquentielles. Les modèles de Markov cachés (HMM) et d’autres approches statistiques traditionnelles représentent des paradigmes plus anciens en NLP.
L’origine et l’évolution des Transformers sont marquées par une publication scientifique séminale. Le concept a été introduit dans l’article « Attention Is All You Need », publié en 2017 par une équipe de chercheurs de Google Brain, Google Research et DeepMind (Ashish Vaswani et al.). Ce papier a proposé une nouvelle architecture reposant entièrement sur des mécanismes d’attention, se dispensant des couches de récurrence et de convolution traditionnellement utilisées pour le traitement séquentiel. L’objectif initial était de surmonter les limitations des RNNs, notamment leur difficulté à modéliser les dépendances à longue portée et leur nature séquentielle qui freinait la parallélisation de l’entraînement. Les premiers succès spectaculaires ont été obtenus en traduction automatique neuronale, où le Transformer a rapidement établi de nouveaux états de l’art. Par la suite, l’évolution a été extrêmement rapide avec le développement de grands modèles pré-entraînés. En 2018, Google a introduit BERT (Bidirectional Encoder Representations from Transformers), un modèle basé sur l’encodeur du Transformer, qui a révolutionné la manière d’aborder les tâches de NLU grâce à sa capacité à apprendre des représentations contextuelles profondes en pré-entraînant sur de vastes corpus de texte. Simultanément, OpenAI a développé la série GPT (Generative Pre-trained Transformer), des modèles basés sur le décodeur, qui ont démontré des capacités impressionnantes en génération de texte. Depuis, une course à l’échelle s’est engagée, avec des modèles de plus en plus grands (par exemple, GPT-3, PaLM, GLaM, Megatron-Turing NLG) comptant des centaines de milliards, voire des trillions de paramètres. La recherche continue activement pour améliorer l’efficacité des Transformers, leur interprétabilité, leur robustesse, pour réduire leurs biais et pour étendre leurs capacités à des tâches multimodales (traitant simultanément texte, images, audio, etc.) comme DALL-E, Imagen ou Gato.
Les Transformers présentent de nombreux avantages, mais aussi des inconvénients, des défis et des limitations. Parmi les avantages majeurs, on compte leur capacité à atteindre des performances de pointe sur un large éventail de tâches, en particulier en NLP. Ils excellent dans la capture des dépendances contextuelles, y compris celles à très longue portée dans les séquences. Leur architecture permet une parallélisation significative des calculs pendant l’entraînement, ce qui est un atout crucial par rapport aux RNNs pour exploiter la puissance des processeurs graphiques (GPU) et entraîner des modèles sur d’immenses volumes de données. La possibilité de pré-entraîner des modèles Transformer à grande échelle puis de les affiner pour des tâches spécifiques (transfert d’apprentissage) a démocratisé l’accès à des systèmes d’IA performants. Enfin, leur polyvalence leur a permis de s’étendre au-delà du texte pour traiter des images, de l’audio, et même des données biologiques.
Cependant, les inconvénients et les défis ne sont pas négligeables. L’entraînement et l’inférence des grands modèles Transformer sont très coûteux en termes de ressources computationnelles et énergétiques, ce qui soulève des préoccupations environnementales et limite leur accessibilité. Ils nécessitent généralement de très grandes quantités de données d’entraînement pour atteindre leur plein potentiel. Le mécanisme d’auto-attention standard a une complexité computationnelle et mémoire quadratique par rapport à la longueur de la séquence, ce qui le rend difficile à appliquer directement à des séquences très longues (par exemple, des livres entiers ou des génomes). Malgré leurs performances, les mécanismes internes des Transformers, en particulier les poids d’attention, restent difficiles à interpréter de manière fiable, ce qui en fait souvent des « boîtes noires ». De plus, comme tout modèle d’apprentissage automatique, ils peuvent hériter et amplifier les biais présents dans leurs données d’entraînement, conduisant à des résultats inéquitables ou problématiques. La taille mémoire requise pour stocker et exécuter ces modèles peut également être prohibitive.
Les défis actuels et futurs pour la recherche sur les Transformers incluent le développement de mécanismes d’attention plus efficaces pour gérer les séquences très longues, la réduction de l’empreinte carbone de l’entraînement et de l’inférence, l’amélioration de l’interprétabilité et de la fiabilité des modèles, et la mise au point de méthodes pour mieux contrôler la génération de contenu (afin d’éviter la production d’informations fausses, toxiques ou non pertinentes). L’amélioration des capacités d’apprentissage avec peu de données (few-shot ou zero-shot learning) est également un axe de recherche important. Enfin, bien que les Transformers aient montré des capacités impressionnantes, leur aptitude au raisonnement complexe et à une véritable compréhension du monde reste limitée par rapport à l’intelligence humaine, constituant un défi majeur pour l’avenir de l’IA.