Corpus
Un corpus est une collection vaste et structurée de textes (écrits, oraux transcrits, ou multimodaux) produits dans un contexte de communication authentique, assemblée selon des critères explicites en vue de l’analyse linguistique, du traitement automatique du langage naturel, ou d’autres formes d’étude. Il sert de base empirique pour observer et décrire les usages réels d’une langue ou d’une variété linguistique.
Les concepts fondamentaux et les principes essentiels associés à un corpus sont multiples. L’authenticité est primordiale : les textes doivent être des productions langagières réelles, non inventées pour les besoins de l’étude. La représentativité est un autre principe clé ; un corpus vise à refléter, autant que possible, un état de langue, un genre textuel, un dialecte, ou l’usage d’un groupe social particulier. Cela implique souvent des techniques d’échantillonnage rigoureuses pour sélectionner les textes. La taille du corpus, exprimée généralement en nombre de mots ou de tokens, est une caractéristique importante, variant de quelques milliers à plusieurs milliards de mots. De nombreux corpus sont enrichis par des annotations, qui consistent à ajouter des informations linguistiques explicites (étiquettes morphosyntaxiques, structures syntaxiques, relations sémantiques, etc.). L’équilibre, soit la distribution proportionnée des différents types de textes ou de genres, est recherché pour éviter les biais. Enfin, un corpus doit être exploitable, c’est-à-dire accessible et organisé de manière à faciliter les recherches et les analyses quantitatives ou qualitatives. La conception d’un corpus repose sur des objectifs clairs et une méthodologie transparente.
L’importance d’un corpus est considérable dans de nombreux domaines. En linguistique, il a révolutionné l’étude de la langue en déplaçant l’accent de l’introspection et des exemples forgés vers l’observation de l’usage réel. Les corpus permettent de valider ou d’infirmer des hypothèses linguistiques, de découvrir de nouveaux phénomènes, d’étudier la variation et le changement linguistiques. Ils sont indispensables à la lexicographie moderne pour la rédaction de dictionnaires basés sur l’usage et à la grammaticographie pour la description des structures syntaxiques et de leur fréquence. Dans le domaine du traitement automatique du langage naturel (TALN), les corpus sont la pierre angulaire de l’apprentissage automatique. Ils servent de données d’entraînement et d’évaluation pour une multitude d’applications, telles que la traduction automatique, la reconnaissance vocale, la compréhension du langage naturel, l’analyse de sentiments, et la génération de texte. L’impact se mesure par l’amélioration spectaculaire des performances de ces systèmes grâce à l’utilisation de corpus de plus en plus volumineux et diversifiés. En sciences sociales et humaines, les corpus permettent des analyses de discours approfondies, l’étude des représentations sociales, des idéologies, ou encore l’évolution des thématiques dans les médias ou la littérature (stylométrie).
Les applications pratiques des corpus sont variées. En lexicographie, le Trésor de la Langue Française informatisé (TLFi) ou l’Oxford English Dictionary s’appuient sur d’immenses corpus de citations pour documenter l’histoire et l’usage des mots. En grammaire, l’analyse de corpus permet d’identifier les constructions les plus fréquentes ou les évolutions syntaxiques, comme l’étude de la position des adverbes en français à travers des corpus diachroniques. Le British National Corpus (BNC) ou le Corpus of Contemporary American English (COCA) sont des exemples de corpus de référence largement utilisés pour l’étude de l’anglais contemporain. Dans le TALN, des corpus comme Penn Treebank, annoté avec des structures syntaxiques, ont été cruciaux pour le développement des analyseurs syntaxiques. Les corpus parallèles, contenant des textes et leurs traductions dans une ou plusieurs autres langues (par exemple, Europarl, corpus des débats du Parlement européen), sont essentiels pour entraîner les systèmes de traduction automatique. Des corpus de grande taille issus du web, comme Common Crawl, alimentent les grands modèles de langue (LLM) tels que GPT. En enseignement des langues, les corpus fournissent des exemples authentiques d’utilisation des mots et des structures grammaticales, permettant de créer des matériaux pédagogiques plus pertinents et basés sur la fréquence d’usage.
Il existe différentes nuances et variations du terme corpus, reflétant la diversité de leurs caractéristiques et de leurs usages. On distingue les corpus généraux, qui visent une représentativité large d’une langue (ex: BNC), des corpus spécialisés, qui se concentrent sur un domaine particulier (corpus juridique, médical), un genre textuel (corpus de romans, de tweets), un auteur spécifique (corpus des œuvres de Victor Hugo), ou une variété linguistique (corpus de français québécois). Un corpus peut être monolingue (une seule langue), bilingue ou multilingue. Les corpus multilingues peuvent être parallèles (textes sources et leurs traductions) ou comparables (textes originaux dans différentes langues, mais portant sur des sujets similaires et de genres équivalents). On différencie les corpus de textes écrits, les corpus de langue orale (transcriptions d’enregistrements, souvent avec alignement audio), et les corpus multimodaux (combinant texte, image, son, vidéo). Un corpus synchronique capture l’état d’une langue à un moment donné, tandis qu’un corpus diachronique ou historique permet d’étudier son évolution sur une période. Un corpus peut être statique (fixe une fois constitué) ou dynamique (mis à jour régulièrement, comme les corpus « monitor » qui suivent l’évolution de la langue en temps réel). Enfin, un corpus peut être brut (textes sans information ajoutée) ou annoté, avec divers niveaux d’annotation (morphosyntaxique, syntaxique, sémantique, pragmatique, etc.). La notion de corpus s’est aussi étendue, par analogie, à d’autres domaines pour désigner des collections structurées de données (corpus d’images, de vidéos, de données génomiques), bien que l’usage principal demeure lié aux données textuelles et linguistiques.
Plusieurs concepts sont étroitement liés au terme corpus. La linguistique de corpus est la discipline qui étudie la langue à partir de corpus. L’annotation est le processus d’enrichissement d’un corpus par l’ajout d’informations linguistiques. Un concordancier est un logiciel permettant d’explorer un corpus, notamment de rechercher des mots ou des expressions dans leur contexte (KWIC – Key Word In Context). La collocation désigne la cooccurrence statistiquement significative de mots. La fréquence d’apparition des mots ou des structures est une mesure fondamentale issue de l’analyse de corpus. Les n-grammes (séquences de n mots ou caractères) sont des unités d’analyse courantes. Les termes texte, document, et collection sont des composantes ou des précurseurs du concept de corpus. Les métadonnées, qui décrivent les textes du corpus (auteur, date, source, genre, etc.), sont essentielles pour sa bonne exploitation. Des termes comme « recueil de textes » ou « collection de données linguistiques » peuvent être considérés comme des synonymes partiels, bien que « corpus » implique généralement une plus grande rigueur méthodologique et une finalité d’analyse. Conceptuellement, l’étude sur corpus s’oppose à l’utilisation exclusive de l’intuition linguistique ou d’exemples forgés, et un corpus se distingue d’une simple accumulation de données isolées par sa structure et ses principes de constitution.
L’idée de collecter des textes pour étude n’est pas nouvelle ; les érudits ont de tout temps compilé des textes religieux, littéraires ou juridiques. Cependant, le concept moderne de corpus, notamment électronique, a émergé au milieu du XXe siècle. Les travaux des lexicographes, qui collectaient des citations pour illustrer l’usage des mots, préfigurent cette démarche. L’avènement de l’informatique dans les années 1960 a été un tournant décisif, permettant le traitement de grandes quantités de textes. Le Brown Corpus (Standard Corpus of Present-Day American English), achevé en 1964, est souvent cité comme le premier corpus électronique moderne, avec un million de mots d’anglais américain écrit, échantillonné selon des genres prédéfinis. Les années 1980 et 1990 ont vu une augmentation significative de la taille des corpus et le développement d’outils d’analyse plus sophistiqués. Des corpus de référence nationaux, comme le British National Corpus (BNC) au Royaume-Uni, ont été créés. L’essor d’Internet et du World Wide Web à partir des années 1990 a fourni une source quasi illimitée de données textuelles, menant à la création de corpus gigantesques (web corpora) et posant de nouveaux défis en termes de collecte et de nettoyage. Parallèlement, des efforts de standardisation pour l’encodage et l’annotation des textes, comme la Text Encoding Initiative (TEI), ont vu le jour. Plus récemment, le développement du TALN et des grands modèles de langue a encore accru la demande pour des corpus massifs, diversifiés et de haute qualité, incluant des corpus oraux et multimodaux.
L’utilisation de corpus présente de nombreux avantages. Ils fournissent une base empirique solide pour l’étude de la langue, permettant des analyses quantitatives (fréquences, distributions) et qualitatives (analyse contextuelle). Ils favorisent une plus grande objectivité par rapport aux jugements introspectifs, parfois subjectifs, du linguiste. Les corpus permettent de découvrir des patrons linguistiques, des collocations ou des usages rares qui ne seraient pas accessibles par la seule intuition. Ils sont une ressource indispensable pour le développement et l’évaluation des technologies du langage. Si un corpus est bien documenté et accessible, il permet la reproductibilité des recherches. Cependant, les corpus ont aussi des inconvénients et des limitations. La représentativité parfaite est un idéal difficilement atteignable ; tout corpus est, par nature, un échantillon et peut comporter des biais liés à sa composition. La constitution et, surtout, l’annotation d’un corpus de qualité peuvent être coûteuses en temps et en ressources. La taille, bien qu’importante, ne garantit pas la qualité ou la pertinence pour une tâche donnée. L’accès à certains corpus peut être restreint par des questions de droits d’auteur, de confidentialité (données personnelles) ou de coûts. Un corpus reflète l’usage linguistique tel qu’il est, ce qui n’est pas toujours aligné avec les normes prescriptives. De plus, un corpus statique offre une image figée de la langue, qui est par essence dynamique. Les défis actuels incluent la maintenance de la qualité et de la cohérence des annotations, en particulier pour les grands corpus, la gestion et l’exploitation de ces masses de données (Big Data), l’amélioration de l’interopérabilité entre différents corpus et outils, et la prise en compte des questions éthiques, notamment les biais présents dans les données qui peuvent être appris et perpétués par les modèles d’intelligence artificielle. Le nettoyage des données, surtout pour les corpus issus du web, reste une tâche complexe mais cruciale.