BERT (Bidirectional Encoder Representations from Transformers)
BERT, acronyme de Bidirectional Encoder Representations from Transformers, est un modèle de traitement du langage naturel (TALN) révolutionnaire développé et publié par Google AI en 2018. Il s’agit d’une technique de pré-entraînement profond et bidirectionnel qui a permis des avancées significatives dans la compréhension du langage machine, établissant de nouveaux records de performance sur un large éventail de tâches TALN. BERT est conçu pour générer des représentations vectorielles (embeddings) de mots et de phrases qui tiennent compte du contexte environnant, à la fois à gauche et à droite du mot cible, ce qui constitue sa principale innovation par rapport aux modèles précédents.
Les concepts fondamentaux de BERT reposent sur plusieurs piliers. Premièrement, son caractère « bidirectionnel » est crucial : contrairement aux modèles qui lisaient le texte de gauche à droite ou de droite à gauche, ou qui combinaient de manière superficielle ces deux directions, BERT utilise un mécanisme appelé « Masked Language Model » (MLM) pour considérer simultanément le contexte gauche et droit. Dans le MLM, un certain pourcentage de mots dans une phrase d’entrée est masqué aléatoirement, et la tâche du modèle est de prédire ces mots masqués en se basant sur le reste de la phrase. Deuxièmement, BERT utilise l’architecture « Transformer », spécifiquement sa composante encodeur. Les Transformers, introduits en 2017, s’appuient fortement sur des mécanismes d’attention qui permettent au modèle de pondérer l’importance des différents mots lors du traitement d’une séquence. Troisièmement, BERT est pré-entraîné sur d’énormes corpus de texte (comme l’intégralité de Wikipédia en anglais et le BookCorpus). Outre le MLM, une autre tâche de pré-entraînement appelée « Next Sentence Prediction » (NSP) a été initialement utilisée, où le modèle apprend à prédire si deux phrases données apparaissent consécutivement dans le texte original (bien que l’utilité de NSP ait été débattue par la suite). Une fois pré-entraîné, BERT peut être « fine-tuné » (ajusté) avec des données spécifiques à une tâche pour effectuer des opérations TALN particulières avec relativement peu de données étiquetées.
L’importance de BERT dans le domaine du TALN est considérable. Avant BERT, la compréhension contextuelle profonde des modèles de langage était limitée. BERT a démontré qu’un pré-entraînement bidirectionnel profond pouvait capturer des nuances subtiles du langage, conduisant à des améliorations spectaculaires sur des benchmarks TALN standards tels que GLUE (General Language Understanding Evaluation), SQuAD (Stanford Question Answering Dataset) et SWAG (Situations With Adversarial Generations). Son impact s’est étendu au-delà de la recherche académique, influençant la manière dont les entreprises abordent les problèmes de TALN. Par exemple, Google a intégré BERT dans son moteur de recherche pour mieux comprendre les requêtes des utilisateurs et fournir des résultats plus pertinents. L’approche de pré-entraînement puis de fine-tuning popularisée par BERT est devenue un paradigme dominant dans le TALN, ouvrant la voie à une nouvelle génération de grands modèles de langage (LLM).
Les applications pratiques de BERT sont nombreuses et variées. Dans le domaine de la recherche d’information, BERT améliore la pertinence des résultats des moteurs de recherche en comprenant mieux l’intention derrière les requêtes, même celles formulées de manière ambiguë ou conversationnelle. En analyse de sentiment, il peut déterminer avec une grande précision si un texte exprime une opinion positive, négative ou neutre, ce qui est utile pour l’analyse de critiques de produits ou de commentaires sur les réseaux sociaux. Pour la réponse aux questions (Question Answering), BERT peut localiser la réponse à une question dans un passage de texte donné, ou même générer des réponses de manière plus abstraite avec certaines modifications. Il est également utilisé dans la classification de texte (par exemple, catégoriser des articles de presse par sujet), la reconnaissance d’entités nommées (identifier des personnes, des lieux, des organisations dans un texte), la vérification de la similarité sémantique (déterminer si deux phrases ont une signification similaire) et même, avec des adaptations, pour la génération de texte ou le résumé automatique. Par exemple, un chatbot pourrait utiliser BERT pour mieux comprendre les demandes des utilisateurs et formuler des réponses plus pertinentes.
Plusieurs nuances et variations de BERT existent. Les deux versions originales sont BERT-Base (12 couches d’encodeur, 768 unités cachées, 12 têtes d’attention, 110 millions de paramètres) et BERT-Large (24 couches d’encodeur, 1024 unités cachées, 16 têtes d’attention, 340 millions de paramètres), cette dernière offrant de meilleures performances mais nécessitant plus de ressources de calcul. Depuis sa publication, de nombreux modèles dérivés ont vu le jour. RoBERTa (Robustly Optimized BERT Pretraining Approach) de Facebook AI a modifié la stratégie de pré-entraînement de BERT (par exemple, en supprimant la tâche NSP et en utilisant un masquage dynamique) pour améliorer ses performances. ALBERT (A Lite BERT for Self-supervised Learning of Language Representations) a introduit des techniques de partage de paramètres et de factorisation de la matrice d’embedding pour réduire le nombre de paramètres et améliorer l’efficacité de l’entraînement. DistilBERT est une version plus petite et plus rapide de BERT, obtenue par distillation de connaissances, qui conserve une grande partie des performances de BERT tout en étant plus léger. Des versions spécifiques à certaines langues ont également été développées, comme CamemBERT pour le français ou Flaubert. L’interprétabilité de BERT reste un domaine de recherche actif, car comprendre précisément pourquoi il prend certaines décisions est complexe.
BERT est étroitement lié à plusieurs concepts clés du TALN et de l’apprentissage profond. Le concept de Transformer est fondamental, car BERT est basé sur son architecture d’encodeur et son mécanisme d’attention. Les embeddings de mots (word embeddings) sont également centraux ; BERT produit des embeddings contextuels, qui diffèrent des embeddings statiques comme Word2Vec ou GloVe car la représentation d’un mot change en fonction de son contexte. Le pré-entraînement sur de grandes quantités de données non étiquetées, suivi d’un fine-tuning sur des tâches spécifiques (apprentissage par transfert), est un paradigme que BERT a popularisé. Des modèles comme ELMo (Embeddings from Language Models) ont précédé BERT en introduisant des représentations contextuelles bidirectionnelles, mais ELMo utilisait des LSTMs concaténés, tandis que BERT utilise des Transformers et une bidirectionnalité plus profonde via le MLM. GPT (Generative Pre-trained Transformer), un autre modèle influent, est principalement un décodeur Transformer et est généralement auto-régressif (unidirectionnel dans sa capacité à prédire le mot suivant), ce qui le rend plus adapté à la génération de texte, contrastant avec l’approche d’encodage de BERT optimisée pour la compréhension. Les modèles plus anciens, comme les modèles « sac de mots » (Bag-of-Words), qui ne tiennent pas compte de l’ordre des mots ni du contexte, peuvent être considérés comme des approches antérieures que BERT a largement surpassées en termes de compréhension du langage.
L’origine de BERT remonte à sa publication en octobre 2018 par une équipe de chercheurs de Google AI : Jacob Devlin, Ming-Wei Chang, Kenton Lee et Kristina Toutanova. L’article fondateur s’intitule « BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding ». Sa publication a marqué un tournant dans le domaine du TALN, s’appuyant sur les avancées précédentes telles que les réseaux de neurones récurrents (RNN), les LSTMs, les embeddings de mots contextuels et surtout l’architecture Transformer, introduite par Google en 2017 dans l’article « Attention Is All You Need ». L’idée de pré-entraîner de grands modèles sur des tâches non supervisées pour ensuite les affiner pour des tâches spécifiques n’était pas nouvelle, mais BERT a démontré l’efficacité spectaculaire de l’application de cette idée avec une architecture Transformer bidirectionnelle profonde. Son adoption a été extrêmement rapide, tant dans la communauté de recherche que dans l’industrie, grâce à ses performances impressionnantes et à la publication du code et des modèles pré-entraînés en open source.
Malgré ses nombreux avantages, BERT présente également des inconvénients, des défis et des limitations. Parmi ses avantages majeurs figurent sa capacité à atteindre des performances de pointe sur un large éventail de tâches de compréhension du langage, sa compréhension contextuelle nuancée grâce à la bidirectionnalité, et la flexibilité offerte par le paradigme de pré-entraînement/fine-tuning qui permet d’adapter le modèle à des tâches spécifiques avec des données limitées. La disponibilité de modèles pré-entraînés en open source a également démocratisé l’accès à des outils TALN puissants. Cependant, le pré-entraînement de BERT est extrêmement coûteux en termes de calcul et de données, nécessitant des infrastructures matérielles spécialisées et de grandes quantités de texte. Les modèles BERT, en particulier BERT-Large, sont volumineux, ce qui peut poser des problèmes pour leur déploiement sur des appareils aux ressources limitées. Comme beaucoup de modèles d’apprentissage profond, BERT est souvent considéré comme une « boîte noire », son processus de décision interne étant difficile à interpréter. De plus, les données textuelles utilisées pour le pré-entraînement peuvent contenir des biais (sociaux, de genre, etc.) que le modèle peut apprendre et reproduire. Enfin, la tâche NSP initiale s’est avérée moins utile que prévu, et des recherches ultérieures ont montré que sa suppression ou sa modification pouvait améliorer les performances. La gestion de séquences textuelles très longues reste également un défi, bien que des variantes de Transformers (comme Longformer ou BigBird) aient été développées pour y remédier. Les recherches actuelles continuent de viser à créer des modèles plus efficaces, plus interprétables, moins biaisés et capables de gérer des contextes encore plus vastes.