Latent Diffusion Model (LDM)
Un Latent Diffusion Model (LDM), ou Modèle de Diffusion Latente en français, est une classe de modèles génératifs profonds conçus pour produire des données de haute qualité, typiquement des images, en appliquant un processus de diffusion dans un espace latent de plus faible dimensionnalité plutôt que directement dans l’espace des données brutes (comme l’espace des pixels pour une image).
Les concepts fondamentaux des LDM reposent sur deux idées principales : les modèles de diffusion et l’utilisation d’un espace latent. Les modèles de diffusion standards fonctionnent en ajoutant progressivement du bruit à une donnée (processus avant ou de diffusion) jusqu’à ce qu’elle devienne du bruit pur, puis en apprenant à inverser ce processus (processus arrière ou de dénoyage) pour générer de nouvelles données à partir du bruit. Les LDM adaptent cette approche en l’appliquant non pas aux données originales, mais à une représentation compressée de ces données dans un espace dit latent. Cet espace latent est appris par un auto-encodeur (souvent un Auto-Encodeur Variationnel ou VAE, ou une architecture similaire). L’encodeur compresse la donnée initiale (par exemple, une image haute résolution) en une représentation latente compacte. Le processus de diffusion (ajout de bruit et dénoyage) se déroule entièrement dans cet espace latent. Une fois le processus de dénoyage terminé dans l’espace latent, le décodeur de l’auto-encodeur est utilisé pour convertir la représentation latente dénoyée en une nouvelle donnée dans l’espace original (une image haute résolution). Le dénoyage est généralement effectué par un réseau neuronal, souvent une architecture de type UNet, qui apprend à prédire et retirer le bruit ajouté à chaque étape du processus arrière. Un élément clé est le conditionnement, qui permet de guider la génération. Les LDM intègrent souvent des mécanismes, comme l’attention croisée (cross-attention), pour conditionner le processus de dénoyage sur des informations externes, telles que des descriptions textuelles, d’autres images, ou des cartes sémantiques.
L’importance et l’impact des Latent Diffusion Models sont considérables, particulièrement dans le domaine de la génération d’images par intelligence artificielle. En opérant dans un espace latent de dimension réduite, les LDM réduisent drastiquement la charge computationnelle par rapport aux modèles de diffusion classiques qui travaillent directement dans l’espace pixel de haute dimension. Cela rend l’entraînement et l’inférence (la génération de nouvelles images) beaucoup plus rapides et moins gourmands en ressources matérielles (mémoire GPU notamment). Cette efficacité a permis de démocratiser l’accès à des modèles de génération d’images très performants, capables de produire des visuels d’une qualité et d’une résolution sans précédent avec une cohérence sémantique élevée. Les LDM ont ainsi révolutionné des domaines comme l’art génératif, le design graphique, la création de contenu visuel et la recherche en vision par ordinateur, en offrant des outils puissants pour la synthèse et la manipulation d’images.
Les applications pratiques des LDM sont nombreuses et variées. L’application la plus connue est la génération texte-vers-image, où le modèle crée une image à partir d’une description textuelle fournie par l’utilisateur. Des modèles comme Stable Diffusion, qui est basé sur l’architecture LDM, en sont des exemples emblématiques. D’autres applications incluent la génération image-vers-image, qui permet de modifier une image existante en fonction d’une instruction textuelle (édition d’image), de compléter des parties manquantes d’une image (inpainting), d’étendre une image au-delà de ses bords (outpainting), ou de transférer le style d’une image à une autre. Les LDM sont également explorés pour la génération dans d’autres modalités, comme la création de musique, de vidéos ou même de modèles 3D, bien que la génération d’images reste leur domaine d’application le plus mature et le plus répandu.
Il existe des nuances et des variations dans l’implémentation des Latent Diffusion Models. Bien que le principe général reste le même, les architectures spécifiques de l’auto-encodeur (VAE, VQ-VAE, etc.) et du modèle de dénoyage (généralement un UNet avec des mécanismes d’attention) peuvent varier. Le choix de l’auto-encodeur est crucial car il détermine la qualité de la compression et de la reconstruction, ainsi que la structure de l’espace latent. De même, les mécanismes de conditionnement peuvent différer, utilisant différentes formes d’attention ou d’intégration de l’information contextuelle (texte, image, classes, etc.). Les modèles spécifiques comme Stable Diffusion sont des implémentations particulières de l’architecture LDM, avec des choix spécifiques pour ces composants et entraînés sur des jeux de données massifs. Une nuance importante réside dans le compromis effectué par les LDM : ils échangent une légère perte potentielle de fidélité due à l’étape de compression/décompression de l’auto-encodeur contre un gain massif en efficacité computationnelle par rapport aux modèles de diffusion opérant dans l’espace pixel.
Pour une compréhension holistique, il est utile de connaître les concepts étroitement liés aux LDM. Les Diffusion Models (DMs) ou Denoising Diffusion Probabilistic Models (DDPMs) sont la classe plus large de modèles dont les LDM sont une optimisation. Les Variational Autoencoders (VAEs) sont souvent utilisés pour créer l’espace latent, bien que d’autres types d’auto-encodeurs puissent être employés. Les Generative Adversarial Networks (GANs) sont une autre famille majeure de modèles génératifs, connue pour sa génération rapide mais parfois moins stable ou diversifiée que les modèles de diffusion. Les architectures UNet sont fréquemment utilisées comme réseau de dénoyage dans les DMs et les LDM. Les Transformers, en particulier les mécanismes d’attention croisée, sont essentiels pour intégrer le conditionnement (comme le texte) dans le processus de génération des LDM. Il n’y a pas de synonyme direct pour LDM, mais on peut le considérer comme un « modèle de diffusion basé sur un espace latent ». Un antonyme conceptuel serait un « modèle de diffusion dans l’espace pixel » ou, plus largement, les modèles discriminatifs (qui classifient les données) par opposition aux modèles génératifs (qui créent de nouvelles données).
L’origine des Latent Diffusion Models est relativement récente et s’inscrit dans l’évolution rapide des modèles génératifs profonds. Ils s’appuient sur les fondations théoriques des modèles de diffusion probabilistes proposés initialement par Sohl-Dickstein et al. en 2015, puis popularisés et rendus plus pratiques par Ho et al. avec les DDPM en 2020. L’idée clé d’appliquer le processus de diffusion non pas directement aux données brutes mais à un espace latent appris a été introduite et développée par Rombach et al. dans leur article « High-Resolution Image Synthesis with Latent Diffusion Models » publié fin 2021 (présenté à la CVPR 2022). Cette innovation a permis de surmonter les limitations computationnelles des DMs précédents pour la génération d’images à très haute résolution. Le lancement public du modèle open-source Stable Diffusion en 2022, basé sur cette architecture LDM, a marqué une étape majeure dans la démocratisation et l’adoption massive de cette technologie.
Les Latent Diffusion Models présentent plusieurs avantages significatifs. Ils permettent de générer des images d’une qualité et d’une cohérence remarquables, souvent supérieures à celles des GANs sur de nombreuses métriques. Leur principal avantage est leur efficacité computationnelle par rapport aux DMs classiques, rendant l’entraînement et l’inférence réalisables avec des ressources matérielles plus modestes. Ils offrent également une grande flexibilité pour le conditionnement, permettant un contrôle fin de la génération via divers types d’entrées. Cependant, les LDM ont aussi des inconvénients et des défis. Leur architecture est plus complexe, nécessitant un auto-encodeur performant en plus du modèle de diffusion lui-même. Le processus de génération (inférence) reste itératif, impliquant plusieurs étapes de dénoyage, ce qui le rend plus lent que la génération en une seule passe des GANs. L’entraînement initial de ces modèles requiert des jeux de données très importants et une puissance de calcul considérable. Comme tous les modèles entraînés sur de vastes corpus de données, ils peuvent hériter et amplifier les biais présents dans ces données. Enfin, la puissance de ces modèles soulève des préoccupations éthiques liées à leur potentiel de mésusage, notamment pour la création de deepfakes ou la diffusion de désinformation visuelle. Le contrôle précis de certains attributs spécifiques dans l’image générée reste également un défi de recherche actif.