Foundation Model
Un Foundation Model (Modèle de Fondation) est un type de modèle d’intelligence artificielle (IA) de grande envergure, entraîné sur une quantité massive de données générales et non étiquetées, qui peut être adapté (via un processus appelé fine-tuning ou réglage fin) pour exécuter une large gamme de tâches spécifiques en aval. Ces modèles servent de base ou de « fondation » sur laquelle des capacités d’IA plus spécialisées peuvent être construites, souvent avec une quantité relativement faible de données spécifiques à la tâche.
Les concepts fondamentaux sous-jacents aux modèles de fondation incluent l’échelle (taille massive en termes de paramètres et de données d’entraînement), le pré-entraînement (phase initiale où le modèle apprend des représentations générales à partir de données brutes, souvent via l’apprentissage auto-supervisé), et l’adaptabilité (capacité à être spécialisé pour des tâches spécifiques). Le principe clé est celui de l’apprentissage par transfert : les connaissances générales acquises lors du pré-entraînement sur des données vastes et diverses sont transférées et affinées pour des applications plus ciblées. Un autre concept important est celui des capacités émergentes, où des compétences ou des comportements inattendus apparaissent lorsque les modèles atteignent une certaine échelle, sans avoir été explicitement programmés pour cela. L’architecture Transformer est très couramment utilisée pour construire ces modèles, en particulier pour le traitement du langage naturel, mais aussi de plus en plus pour d’autres modalités comme la vision.
L’importance des modèles de fondation réside dans leur potentiel à transformer le développement et le déploiement de l’IA. Ils représentent un changement de paradigme, passant de la création de modèles distincts pour chaque tâche à l’adaptation d’un modèle pré-entraîné unique et puissant. Cela peut accélérer considérablement la recherche et le développement, réduire le besoin de vastes ensembles de données étiquetées spécifiques à une tâche (qui sont coûteux et longs à créer), et potentiellement démocratiser l’accès à des capacités d’IA avancées. Cependant, leur développement nécessite des ressources computationnelles et des ensembles de données si importants qu’il soulève également des questions de concentration du pouvoir et d’accès équitable. Leur impact se fait sentir dans presque tous les secteurs, de la technologie à la science, en passant par la médecine et la création artistique.
Les applications pratiques des modèles de fondation sont nombreuses et en constante expansion. Dans le traitement du langage naturel (NLP), ils alimentent des chatbots sophistiqués (comme ChatGPT basé sur GPT-4), des outils de traduction automatique, de résumé de texte, de génération de contenu (articles, emails, code), d’analyse de sentiments, et de réponse à des questions. Dans le domaine de la vision par ordinateur, des modèles comme DALL-E 2 ou Stable Diffusion génèrent des images à partir de descriptions textuelles, tandis que d’autres peuvent effectuer la classification d’images, la détection d’objets ou la segmentation sémantique. Des modèles multimodaux combinent différentes modalités, par exemple pour générer des légendes d’images ou répondre à des questions sur des images. Ils sont également utilisés dans la découverte scientifique, l’analyse de données complexes, la bio-informatique, et même la création musicale.
Il existe des nuances et des perspectives différentes concernant le terme « Foundation Model ». Le terme lui-même, popularisé par un rapport du Stanford Institute for Human-Centered Artificial Intelligence (HAI) en 2021, n’est pas universellement adopté ; certains préfèrent utiliser des termes plus spécifiques comme Large Language Model (LLM) lorsque le modèle traite principalement du texte. La définition de « grande échelle » ou « données vastes et générales » peut varier. De plus, le terme « fondation » peut être débattu, car il implique une stabilité et une fiabilité qui ne sont pas toujours garanties, ces modèles pouvant présenter des biais ou générer des informations incorrectes (« hallucinations »). La généralité réelle de ces modèles est aussi un sujet de recherche : bien que polyvalents, ils ne possèdent pas une compréhension du monde au sens humain.
Plusieurs concepts sont étroitement liés aux modèles de fondation. Le Large Language Model (LLM) est un type spécifique de modèle de fondation axé sur le traitement et la génération de langage. Le pré-entraînement et le fine-tuning sont des étapes clés du cycle de vie d’un modèle de fondation. L’apprentissage par transfert est le mécanisme sous-jacent qui permet leur adaptabilité. L’apprentissage auto-supervisé est une technique courante pour le pré-entraînement sur des données non étiquetées. L’IA générative est un domaine où les modèles de fondation excellent, produisant de nouvelles données (texte, images, etc.). Un antonyme conceptuel pourrait être un « modèle spécifique à la tâche » ou un « modèle entraîné à partir de zéro » pour une application unique sans pré-entraînement massif.
L’origine des modèles de fondation remonte aux avancées progressives en apprentissage automatique et en traitement du langage naturel. Les idées d’apprentissage par transfert et de pré-entraînement existent depuis des années (par exemple, avec les plongements de mots comme Word2Vec ou GloVe, puis les modèles contextuels comme ELMo et ULMFiT). Cependant, la publication de l’architecture Transformer en 2017 (« Attention Is All You Need » par Vaswani et al.) a constitué une avancée majeure, permettant une parallélisation efficace de l’entraînement et la capture de dépendances à longue portée dans les données séquentielles. Ceci, combiné à l’augmentation de la puissance de calcul (GPU, TPU) et à la disponibilité de très grands ensembles de données textuelles issues du web, a conduit à l’émergence de modèles comme BERT (Google, 2018) et la série GPT (OpenAI, à partir de 2018). La démonstration de capacités impressionnantes et généralisables par des modèles comme GPT-3 (2020) a solidifié le concept, menant à la formalisation du terme « Foundation Model » par la communauté de recherche.
Les avantages des modèles de fondation incluent leur polyvalence exceptionnelle, leur capacité à atteindre des performances de pointe sur de nombreuses tâches avec un réglage fin minimal, et la réduction du besoin de données spécifiques à la tâche. Ils peuvent également présenter des capacités émergentes surprenantes. Cependant, ils présentent des inconvénients et des défis significatifs. Leur entraînement est extrêmement coûteux en termes de ressources computationnelles et énergétiques, ce qui soulève des préoccupations environnementales et limite leur développement aux organisations disposant de moyens considérables. Ils peuvent hériter et amplifier les biais présents dans leurs vastes données d’entraînement, conduisant à des résultats inéquitables ou toxiques. Leur complexité les rend difficiles à interpréter (« boîtes noires »), ce qui pose des problèmes de fiabilité, de débogage et de confiance. Ils peuvent générer des informations fausses ou trompeuses (hallucinations) avec une grande assurance. La sécurité est une préoccupation majeure, car ils peuvent être utilisés à des fins malveillantes (désinformation, génération de code malveillant). Enfin, leur dépendance à des données massives soulève des questions sur la confidentialité et la propriété intellectuelle.