LUKE (Language Understanding with Knowledge-based Embeddings) est un modèle de traitement automatique du langage naturel (TALN) pré-entraîné qui améliore la compréhension du langage en intégrant des connaissances structurées provenant de bases de connaissances externes. Sa particularité réside dans sa capacité à calculer des représentations vectorielles (embeddings) contextuelles non seulement pour les mots, mais aussi pour les entités présentes dans le texte, en s’appuyant sur ces connaissances externes.
Les concepts fondamentaux de LUKE reposent sur l’idée que la compréhension profonde d’un texte nécessite souvent des connaissances du monde qui ne sont pas explicitement présentes dans le texte lui-même. Pour ce faire, LUKE étend l’architecture des modèles de langage basés sur les Transformers, tels que BERT. La principale innovation de LUKE est l’introduction d’une nouvelle tâche de pré-entraînement et d’un mécanisme pour représenter les entités. Il apprend à prédire des mots masqués et des entités masquées dans un texte, où les entités sont liées à une base de connaissances (par exemple, Wikipedia). Les entités sont représentées par des « entity embeddings » spécifiques qui sont appris conjointement avec les « word embeddings ». LUKE utilise une structure de dictionnaire d’entités qui mappe les entités à leurs embeddings. Lors du traitement d’un texte, les entités présentes sont identifiées et leurs embeddings sont utilisés en conjonction avec les embeddings des mots pour obtenir une représentation enrichie du texte.
L’importance de LUKE réside dans sa capacité à surpasser les modèles de langage traditionnels sur de nombreuses tâches de TALN qui exigent une compréhension fine des entités et de leurs relations. En injectant des connaissances structurées, LUKE peut mieux désambiguïser les entités, comprendre les relations entre elles, et effectuer des raisonnements basés sur des faits. Cela a un impact significatif sur la recherche en intelligence artificielle, en ouvrant la voie à des systèmes plus intelligents et plus informés. La pertinence de LUKE s’étend à tous les domaines où la compréhension sémantique profonde du texte est cruciale, notamment dans les secteurs de l’information, de la recherche scientifique, et du service client.
Les applications pratiques de LUKE sont nombreuses et variées. Dans le domaine de la réponse aux questions (Question Answering), LUKE peut répondre à des questions complexes qui nécessitent des connaissances factuelles spécifiques sur des personnes, des lieux ou des organisations. Par exemple, un système basé sur LUKE pourrait répondre à la question « Quel est le nom de l’épouse du président de la France ? » en utilisant les informations d’une base de connaissances. Pour la reconnaissance d’entités nommées (Named Entity Recognition, NER), LUKE améliore l’identification et la classification des entités dans un texte. De même, dans l’extraction de relations (Relation Extraction, RE), il peut identifier les relations sémantiques entre les entités, comme « X est le PDG de Y ». Les moteurs de recherche sémantique peuvent également bénéficier de LUKE pour fournir des résultats de recherche plus pertinents et précis en comprenant mieux l’intention de l’utilisateur et le contenu des documents. D’autres applications incluent l’analyse de sentiment ciblée sur des entités, la classification de texte améliorée, et la génération de texte qui est factuellement cohérente.
Concernant les nuances et variations du terme, LUKE lui-même est un modèle spécifique, mais l’approche générale d’intégration de connaissances dans les modèles de langage est un domaine de recherche actif. Il existe donc différentes méthodes et modèles qui cherchent à atteindre des objectifs similaires. Certaines variations peuvent concerner la source de connaissances utilisée (par exemple, des bases de connaissances différentes de Wikipedia), la manière dont les connaissances sont intégrées (par exemple, via des mécanismes d’attention spécifiques, ou en modifiant l’architecture du Transformer), ou les tâches de pré-entraînement utilisées. LUKE est un exemple marquant de cette tendance vers des modèles de langage « knowledge-aware ».
Plusieurs concepts sont étroitement liés à LUKE. Les modèles de langage pré-entraînés comme BERT, RoBERTa, et GPT constituent la base sur laquelle LUKE est construit et qu’il cherche à améliorer. Les bases de connaissances (Knowledge Bases) telles que Wikipedia, Wikidata, YAGO, ou DBpedia sont essentielles à LUKE car elles fournissent les connaissances structurées qu’il intègre. Les embeddings (plongements lexicaux), et plus spécifiquement les « entity embeddings », sont des représentations vectorielles denses qui capturent la sémantique des mots et des entités. Les tâches de TALN comme la reconnaissance d’entités nommées (NER), l’extraction de relations (RE), la réponse aux questions (QA), et le liage d’entités (Entity Linking) sont des domaines d’application où LUKE a démontré son efficacité. Il n’y a pas d’antonyme direct pour LUKE, mais on pourrait le contraster avec les modèles de langage purement textuels qui n’utilisent pas de connaissances externes structurées de manière explicite.
LUKE a été introduit en 2020 par une équipe de chercheurs de Studio Ousia et de l’Université de Tohoku au Japon. L’article de recherche original s’intitule « LUKE: Deep Contextualized Entity Embeddings with Knowledge Graph ». Depuis sa publication, LUKE a suscité un intérêt considérable dans la communauté de la recherche en TALN et a inspiré d’autres travaux sur l’intégration des connaissances dans les modèles de langage. Son développement s’inscrit dans une tendance plus large visant à rendre les modèles d’IA plus conscients du monde et capables de raisonner au-delà des simples motifs statistiques présents dans les données textuelles. Des versions améliorées ou adaptées de LUKE peuvent avoir été développées pour des langues spécifiques ou des domaines particuliers.
LUKE présente plusieurs avantages significatifs. Son principal atout est l’amélioration des performances sur de nombreuses tâches de TALN nécessitant des connaissances du monde, conduisant à une compréhension plus profonde et plus précise du langage. Il permet une meilleure modélisation des entités et de leurs relations, ce qui est crucial pour le raisonnement. Cependant, LUKE a aussi des inconvénients et des défis. Sa complexité est plus élevée que celle des modèles de langage standards, ce qui peut entraîner des coûts de calcul plus importants pour l’entraînement et l’inférence. Il dépend fortement de la qualité, de la couverture, et de l’actualité de la base de connaissances externe utilisée. Si la base de connaissances est incomplète ou biaisée, les performances de LUKE peuvent en pâtir. La gestion de l’ambiguïté des entités (c’est-à-dire déterminer à quelle entité spécifique une mention dans le texte se réfère) reste un défi. Enfin, l’adaptation de LUKE à des domaines très spécialisés pour lesquels il n’existe pas de bases de connaissances exhaustives peut être difficile. Maintenir la cohérence entre les connaissances implicites apprises à partir du texte et les connaissances explicites de la base est également un aspect complexe.