XLM (Cross-lingual Language Model)
XLM, acronyme de Cross-lingual Language Model, désigne une catégorie de modèles de traitement automatique du langage (NLP) conçus spécifiquement pour comprendre et générer du texte dans plusieurs langues simultanément. Ces modèles visent à capturer des représentations linguistiques partagées entre différentes langues, permettant ainsi le transfert de connaissances et de capacités d’une langue à l’autre, même pour des langues pour lesquelles peu de données d’entraînement spécifiques sont disponibles.
Les concepts fondamentaux derrière les modèles XLM reposent largement sur l’architecture Transformer, popularisée par des modèles comme BERT, et sur des techniques de pré-entraînement à grande échelle. Le principe essentiel est d’entraîner un unique modèle sur un corpus de textes composé de plusieurs langues. Plusieurs objectifs d’entraînement sont utilisés pour encourager l’apprentissage de représentations interlingues. L’un des plus courants est le Masked Language Modeling (MLM), où le modèle doit prédire des mots masqués dans une phrase, appliqué ici à des textes multilingues. Une innovation clé introduite avec XLM est le Translation Language Modeling (TLM), qui consiste à entraîner le modèle sur des paires de phrases parallèles (traductions l’une de l’autre) en masquant des mots dans les deux phrases, forçant ainsi le modèle à aligner les représentations des mots et des concepts entre les langues. Le partage d’un vocabulaire commun ou de sous-unités de mots (comme les Byte Pair Encodings ou SentencePiece) entre les langues est également une technique cruciale pour faciliter l’alignement sémantique interlingue.
L’importance des modèles XLM est considérable dans un monde globalisé. Ils constituent une avancée majeure pour briser les barrières linguistiques dans l’accès à l’information et l’utilisation des technologies numériques. En apprenant des représentations linguistiques communes, les XLM améliorent significativement les performances des systèmes NLP pour les langues dites « sous-dotées » ou à faibles ressources, c’est-à-dire celles pour lesquelles on dispose de peu de données textuelles numérisées ou de données annotées. Cela favorise une plus grande équité linguistique dans le développement technologique. L’impact se mesure par la capacité à déployer des applications NLP efficaces dans un plus grand nombre de contextes linguistiques et culturels, démocratisant ainsi l’accès aux outils d’intelligence artificielle.
Les applications pratiques des XLM sont nombreuses et variées. La traduction automatique neuronale en est une évidente, où les XLM peuvent améliorer la qualité des traductions, notamment dans des scénarios « zero-shot » (traduction entre des paires de langues non vues pendant l’entraînement) ou « few-shot » (avec très peu d’exemples). Ils sont également utilisés pour la classification de textes multilingues (par exemple, trier des emails de support client dans différentes langues), la compréhension de lecture multilingue (répondre à des questions sur des textes dans diverses langues), l’inférence de relations textuelles multilingues (NLI), la récupération d’informations interlingues (rechercher des documents pertinents quelle que soit la langue de la requête ou du document), et l’analyse de sentiments sur des données issues de marchés internationaux. Concrètement, une entreprise peut utiliser un XLM pour analyser les retours clients exprimés dans des dizaines de langues différentes avec un seul modèle.
Il existe plusieurs nuances et variations autour du terme XLM. Initialement, XLM faisait référence à un modèle spécifique proposé par des chercheurs de Facebook AI Research (FAIR). Cependant, le terme est souvent utilisé de manière plus générique pour désigner toute la famille des modèles de langage pré-entraînés conçus pour la compréhension interlingue. Des modèles ultérieurs comme XLM-R (XLM-RoBERTa), qui a été entraîné sur un corpus beaucoup plus vaste et couvrant plus de 100 langues, en sont des évolutions notables. D’autres modèles comme mBERT (Multilingual BERT) partagent des objectifs similaires mais peuvent différer dans leur architecture ou leurs stratégies de pré-entraînement. La distinction entre « cross-lingual » (mettant l’accent sur le transfert et l’alignement entre langues) et « multilingual » (capable de traiter plusieurs langues, sans nécessairement un fort alignement explicite) est parfois subtile dans la pratique, bien que les XLM visent spécifiquement cet aspect interlingue.
Plusieurs concepts sont étroitement liés à XLM. Le Traitement Automatique du Langage (NLP), l’Apprentissage Automatique (Machine Learning) et l’Apprentissage Profond (Deep Learning) en constituent le cadre général. L’architecture Transformer est la technologie sous-jacente fondamentale. BERT (Bidirectional Encoder Representations from Transformers) est un précurseur monolingue influent. Les « Embeddings » ou plongements lexicaux, et plus spécifiquement les « Multilingual Embeddings », sont des concepts clés pour représenter les mots et les phrases dans un espace vectoriel partagé. Les techniques de « Transfer Learning » (apprentissage par transfert), « Zero-shot Learning » et « Few-shot Learning » sont essentielles pour comprendre comment les XLM généralisent à de nouvelles langues ou tâches avec peu ou pas de données spécifiques. Un synonyme approximatif pourrait être « modèle de langage multilingue », bien que XLM implique souvent une capacité de transfert interlingue plus poussée. L’antonyme serait « modèle de langage monolingue ».
L’origine des XLM s’inscrit dans l’évolution rapide du NLP grâce à l’apprentissage profond. Avant les modèles basés sur les Transformers, des travaux existaient sur les plongements lexicaux multilingues statiques (comme MUSE). L’avènement de BERT en 2018 a révolutionné le domaine pour l’anglais, et rapidement, la recherche s’est orientée vers l’extension de ces succès à d’autres langues et au contexte multilingue. Le modèle XLM a été présenté par Guillaume Lample et Alexis Conneau de FAIR en 2019, introduisant notamment l’objectif TLM. Cette publication a été fondatrice pour le domaine des modèles de langage pré-entraînés massivement multilingues. Par la suite, des modèles comme XLM-R (2019) ont démontré l’efficacité de l’augmentation de la quantité de données de pré-entraînement et du nombre de langues couvertes, établissant de nouveaux états de l’art pour de nombreuses tâches cross-lingues.
Les modèles XLM offrent des avantages significatifs. Leur principal atout est leur capacité à réaliser un apprentissage par transfert interlingue efficace, améliorant les performances sur les langues sous-dotées sans nécessiter de grandes quantités de données annotées pour chaque langue. Ils permettent le développement d’applications NLP véritablement globales. Cependant, ils présentent aussi des inconvénients et des défis. L’entraînement de ces modèles est extrêmement coûteux en termes de ressources computationnelles et énergétiques. Ils peuvent hériter et potentiellement amplifier les biais présents dans les données d’entraînement multilingues, qu’ils soient linguistiques, culturels ou sociaux. Le phénomène de « malédiction du multilinguisme » (curse of multilinguality) est un défi où l’augmentation du nombre de langues peut diluer la capacité du modèle pour chaque langue individuelle, menant parfois à des performances inférieures à celles de modèles monolingues spécialisés sur les langues riches en ressources. L’évaluation fine et équitable des performances sur un grand nombre de langues, notamment celles à faibles ressources, reste complexe. Enfin, la gestion de vocabulaires couvrant de nombreuses écritures et langues pose des difficultés techniques.