T5 (Text-to-Text Transfer Transformer)
T5, acronyme de « Text-to-Text Transfer Transformer », est un modèle de traitement automatique du langage naturel (TALN) basé sur l’architecture Transformer, développé par Google Research. Sa caractéristique distinctive est d’unifier toutes les tâches de TALN en un seul format « texte-à-texte », où chaque tâche est traitée comme un problème de transformation d’une séquence de texte d’entrée en une séquence de texte de sortie.
Les concepts fondamentaux de T5 reposent sur plusieurs piliers. Premièrement, il utilise l’architecture Transformer standard encodeur-décodeur, qui a prouvé son efficacité dans de nombreuses tâches séquentielles. Deuxièmement, il adopte une approche radicalement unifiée « texte-à-texte ». Contrairement aux modèles précédents qui nécessitaient souvent des modifications architecturales ou des têtes de sortie spécifiques pour différentes tâches (comme la classification, la question-réponse, etc.), T5 reformule chaque tâche comme un problème de génération de texte. L’entrée du modèle inclut un préfixe spécifique à la tâche (par exemple, « translate English to German: », « summarize: », « cola sentence: ») qui indique au modèle l’opération à effectuer, suivi du texte d’entrée. Le modèle génère ensuite le texte de sortie correspondant. Troisièmement, T5 s’appuie massivement sur le transfert de connaissances (Transfer Learning). Il est pré-entraîné sur une très grande quantité de données textuelles non étiquetées, le corpus « Colossal Clean Crawled Corpus » (C4), dérivé du Common Crawl. Ce pré-entraînement permet au modèle d’acquérir une compréhension générale du langage. Enfin, le modèle pré-entraîné est ensuite affiné (fine-tuned) sur des jeux de données spécifiques à des tâches particulières, en utilisant le même format texte-à-texte.
L’importance de T5 dans le domaine du TALN est considérable. Il a établi un nouveau standard en matière de simplification du pipeline de développement pour diverses tâches. En traitant tout comme une conversion texte-à-texte, il élimine le besoin de concevoir des architectures spécifiques pour chaque nouvelle tâche. Cette unification a permis de comparer plus directement les performances sur un large éventail de benchmarks (comme GLUE, SuperGLUE, SQuAD) en utilisant un seul et même modèle. Les résultats obtenus par T5 lors de sa publication étaient à l’état de l’art ou très compétitifs sur de nombreuses tâches, démontrant la puissance de son approche. Son étude approfondie et systématique des différentes techniques de pré-entraînement et de transfert a également grandement influencé la recherche ultérieure dans le domaine des grands modèles de langage (LLM). La publication des poids pré-entraînés des différentes tailles de T5 a également contribué à démocratiser l’accès à des modèles performants pour la communauté de recherche et les praticiens.
Les applications pratiques de T5 sont nombreuses et variées, grâce à sa flexibilité inhérente. Il peut être utilisé pour la traduction automatique (en préfixant l’entrée avec « translate [langue source] to [langue cible]: »), le résumé de texte (« summarize: »), la réponse à des questions (« question: [question] context: [contexte] »), la classification de texte (par exemple, pour la tâche CoLA de jugement d’acceptabilité grammaticale, le préfixe est « cola sentence: »), l’inférence en langage naturel (NLI), l’évaluation de la similarité sémantique textuelle (STS-B, avec des préfixes comme « stsb sentence1: … sentence2: … »), et même des tâches plus complexes nécessitant du raisonnement. Essentiellement, toute tâche pouvant être formulée comme la transformation d’un texte d’entrée en un texte de sortie peut potentiellement être abordée avec T5 par simple fine-tuning avec le préfixe approprié.
Il existe différentes nuances et variations du modèle T5 original. Google a publié plusieurs tailles de T5, allant de « Small » et « Base » (comparables en taille à BERT-Base et BERT-Large) à « Large », « 3B » (3 milliards de paramètres) et « 11B » (11 milliards de paramètres), permettant un compromis entre performance et ressources de calcul. Une version améliorée, T5v1.1, a été publiée plus tard, corrigeant certaines inefficacités du pré-entraînement initial et n’utilisant que le pré-entraînement de type Span-Masking (plutôt qu’un mélange). mT5 (Massively Multilingual T5) est une version pré-entraînée sur un corpus multilingue couvrant 101 langues. byT5 est une variante qui opère directement au niveau des octets UTF-8 plutôt que des tokens (wordpieces/sentencepieces), éliminant le besoin d’un vocabulaire prédéfini et gérant potentiellement mieux les langues rares ou le bruit textuel. Des frameworks ultérieurs comme UL2 se sont inspirés de T5 mais ont exploré des objectifs de pré-entraînement plus variés. L’approche « texte-à-texte » de T5 contraste avec les modèles de type BERT (encodeur seulement, souvent utilisés pour des tâches de compréhension) et les modèles de type GPT (décodeur seulement, souvent utilisés pour la génération de texte libre).
Pour une compréhension holistique, T5 est étroitement lié à plusieurs concepts clés. L’architecture Transformer est son fondement technique. Le Transfer Learning est le paradigme d’entraînement qu’il exploite. Le pré-entraînement et le fine-tuning sont les deux étapes cruciales de ce paradigme. BERT et GPT sont d’autres grands modèles de langage influents, mais avec des architectures et des objectifs de pré-entraînement différents, servant souvent de points de comparaison. Le Traitement Automatique du Langage Naturel (TALN / NLP) est le domaine d’application principal de T5. Il appartient à la catégorie des Grands Modèles de Langage (LLM). Il n’y a pas d’antonyme direct, mais on pourrait le contraster avec des modèles non-Transformer ou des approches spécifiques à chaque tâche qui ne suivent pas le framework unifié texte-à-texte.
L’origine de T5 remonte aux travaux de Google Research, culminant avec la publication de l’article « Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer » fin 2019 et sa présentation en 2020. Le projet visait à réaliser une étude empirique à grande échelle pour comprendre quels ingrédients étaient les plus importants pour le succès du transfert de connaissances en TALN. L’équipe a exploré systématiquement différentes architectures, objectifs de pré-entraînement, corpus non étiquetés, stratégies de fine-tuning et autres facteurs. L’approche texte-à-texte et le modèle T5 sont nés de cette exploration exhaustive, se révélant une méthode particulièrement efficace et polyvalente. La création du corpus C4, une version nettoyée et massive du Common Crawl, fut également une contribution importante de ce travail.
Les avantages de T5 sont notables. Son principal atout est l’unification et la simplification du traitement de diverses tâches NLP sous un seul et même framework, augmentant la flexibilité et réduisant la complexité d’ingénierie. Il a atteint des performances de pointe sur de nombreux benchmarks standard. La disponibilité publique de modèles pré-entraînés de différentes tailles facilite son adoption. Sa formulation basée sur des préfixes rend l’adaptation à de nouvelles tâches relativement simple, à condition de disposer de données de fine-tuning correctement formatées.
Cependant, T5 présente aussi des inconvénients et des défis. La taille des modèles, en particulier les versions Large, 3B et 11B, requiert des ressources de calcul considérables (GPU/TPU, mémoire) tant pour l’entraînement/fine-tuning que pour l’inférence, ce qui peut limiter son accessibilité et augmenter les coûts opérationnels et environnementaux. Bien qu’il réduise la quantité de données spécifiques à la tâche nécessaires par rapport à un entraînement à partir de zéro, le fine-tuning nécessite toujours des données étiquetées et formatées correctement. La performance peut être sensible à la formulation exacte du préfixe et du formatage des données. Comme tous les grands modèles pré-entraînés sur des données web massives, T5 peut hériter et potentiellement amplifier les biais présents dans ces données (sociaux, culturels, etc.). Enfin, la nature générative de T5 signifie que la sortie, même pour des tâches de classification, est générée token par token, ce qui peut être moins efficace en termes de calcul que les approches utilisant une simple tête de classification.