GloVe (Global Vectors for Word Representation)
GloVe, acronyme de Global Vectors for Word Representation, est un algorithme d’apprentissage non supervisé destiné à obtenir des représentations vectorielles denses pour les mots, également connues sous le nom de plongements lexicaux (word embeddings). Développé à l’Université de Stanford, GloVe vise à capturer les relations sémantiques et syntaxiques entre les mots en se basant sur les statistiques globales de cooccurrence des mots dans un vaste corpus de textes.
Les concepts fondamentaux de GloVe reposent sur l’idée que les statistiques de cooccurrence des mots dans un corpus contiennent des informations sémantiques essentielles. Contrairement aux méthodes dites « locales » comme Word2Vec (qui se concentre sur des fenêtres de contexte locales), GloVe agrège les statistiques de cooccurrence globales du corpus dans une matrice. L’objectif principal est d’apprendre des vecteurs de mots tels que leur produit scalaire soit directement lié au logarithme de leur probabilité de cooccurrence. Plus spécifiquement, le modèle tente de minimiser une fonction de coût de moindres carrés pondérée qui mesure la différence entre le produit scalaire de deux vecteurs mots (plus des biais) et le logarithme du nombre de fois où ces deux mots apparaissent ensemble dans une fenêtre de contexte définie. La pondération dans la fonction de coût sert à donner moins d’importance aux cooccurrences très fréquentes (souvent des mots vides peu informatifs) et aux cooccurrences très rares (potentiellement bruitées).
L’importance de GloVe réside dans sa capacité à générer des représentations vectorielles de mots de haute qualité qui se sont avérées très efficaces pour améliorer les performances d’une multitude de tâches en Traitement Automatique du Langage Naturel (TALN). En encodant des relations sémantiques (comme la synonymie ou l’antonymie) et syntaxiques (comme les analogies de genre ou de temps verbal) directement dans la géométrie de l’espace vectoriel, GloVe fournit aux modèles d’apprentissage automatique une compréhension plus nuancée du langage. Son approche combinant les avantages des méthodes de comptage global (comme l’Analyse Sémantique Latente – LSA) et des méthodes prédictives locales (comme Word2Vec) a constitué une avancée significative dans le domaine des représentations distribuées.
Les applications pratiques de GloVe sont nombreuses et variées. Les vecteurs pré-entraînés GloVe, souvent mis à disposition publiquement après entraînement sur des corpus massifs comme Wikipedia ou Common Crawl, sont couramment utilisés comme couche d’entrée pour des modèles de deep learning dans des tâches telles que l’analyse de sentiments, la classification de textes (par exemple, trier des articles de presse par catégorie), la recherche d’informations (pour améliorer la pertinence des résultats en comprenant les synonymes), la traduction automatique (en aidant à aligner les mots sémantiquement similaires entre les langues), la reconnaissance d’entités nommées, et la résolution de questions. Un exemple classique illustrant la puissance de GloVe est sa capacité à résoudre des analogies via l’arithmétique vectorielle, comme l’opération « vecteur(roi) – vecteur(homme) + vecteur(femme) » dont le résultat est un vecteur très proche de « vecteur(reine) ».
Bien que le concept de base de GloVe soit unique, il existe des nuances dans son application. Les performances dépendent fortement du choix des hyperparamètres lors de l’entraînement, tels que la taille de la fenêtre de cooccurrence, la dimension des vecteurs (généralement entre 50 et 300), les seuils de fréquence minimale des mots, ou les paramètres de la fonction de pondération. De plus, différents ensembles de vecteurs pré-entraînés existent, chacun ayant été entraîné sur des corpus et avec des paramètres distincts, ce qui peut influencer leur adéquation à une tâche spécifique. L’interprétation des vecteurs reste un domaine de recherche, bien que leur utilité pratique soit largement démontrée.
GloVe s’inscrit dans le domaine plus large des modèles d’espace vectoriel (Vector Space Models) et des sémantiques distributionnelles. Il est étroitement lié à d’autres techniques de word embedding comme Word2Vec (CBOW et Skip-gram) et fastText. Bien que partageant l’objectif de créer des vecteurs de mots, ces méthodes diffèrent dans leur algorithme d’apprentissage (GloVe est basé sur le comptage et la factorisation, Word2Vec est prédictif). Des modèles plus récents comme ELMo, BERT, et les modèles basés sur les Transformers génèrent des embeddings contextuels, où la représentation d’un mot dépend de la phrase dans laquelle il apparaît, contrairement à GloVe qui produit des vecteurs statiques. Les représentations « one-hot » (où chaque mot est un vecteur très long avec un seul 1 et le reste à 0) peuvent être considérées comme une approche « antonyme » en termes de densité et de capture de la sémantique.
L’origine de GloVe remonte à 2014 avec la publication de l’article « GloVe: Global Vectors for Word Representation » par Jeffrey Pennington, Richard Socher et Christopher D. Manning du groupe de recherche en TALN de l’Université de Stanford. Il a été proposé comme une tentative de synthétiser les avantages des deux principales familles d’approches précédentes pour l’apprentissage de représentations vectorielles : les méthodes de factorisation de matrice basées sur le comptage global (comme LSA) et les méthodes prédictives basées sur des fenêtres locales (comme Word2Vec). GloVe a rapidement gagné en popularité grâce à ses performances solides et à la disponibilité de vecteurs pré-entraînés de haute qualité.
Les avantages de GloVe incluent sa capacité à exploiter efficacement les statistiques globales du corpus, ce qui lui permet souvent de mieux capturer les relations sémantiques fines et de bien performer sur les tâches d’analogie. Son entraînement peut être parallélisé et est relativement rapide comparé à certaines alternatives. Cependant, GloVe présente aussi des inconvénients et limitations. La nécessité de construire et de stocker une matrice de cooccurrence globale peut être très coûteuse en mémoire et en calcul pour des corpus extrêmement volumineux. Comme Word2Vec, il génère des embeddings statiques, attribuant un unique vecteur à chaque mot indépendamment du contexte, ce qui limite sa capacité à modéliser la polysémie. Il ne gère pas nativement les mots hors vocabulaire (OOV), bien que des stratégies existent pour atténuer ce problème. Enfin, face à l’émergence des modèles contextuels comme BERT, les performances de GloVe sur de nombreuses tâches complexes de TALN sont désormais surpassées, bien qu’il reste une référence solide et une base utile, notamment dans des scénarios où les ressources computationnelles sont limitées.