Variational Autoencoders (VAEs)
Les Autoencodeurs Variationnels, communément désignés par l’acronyme VAEs, constituent une classe de modèles génératifs probabilistes neuronaux. Ils apprennent une représentation latente des données d’entrée sous la forme d’une distribution de probabilité, typiquement une distribution gaussienne, plutôt qu’un simple vecteur de code comme dans les autoencodeurs classiques. Cette approche combine les principes architecturaux des autoencodeurs avec les fondements théoriques de l’inférence bayésienne variationnelle pour modéliser la distribution sous-jacente des données et générer de nouveaux échantillons.
Les concepts fondamentaux et les principes essentiels des VAEs reposent sur une architecture encodeur-décodeur spécifique et un cadre d’optimisation probabiliste. L’encodeur, souvent un réseau de neurones, ne mappe pas directement une entrée x à un point unique dans l’espace latent z. Au lieu de cela, il paramètre une distribution de probabilité q_phi(z|x) sur l’espace latent. Typiquement, cette distribution est choisie comme étant une gaussienne multivariée dont l’encodeur apprend à prédire la moyenne (mu) et la variance (ou log-variance, sigma^2) pour chaque entrée x. L’espace latent z est donc un espace de variables aléatoires continues, conçu pour capturer les variations sémantiques des données d’entrée de manière compacte.
Le décodeur, également un réseau de neurones, prend un échantillon z tiré de la distribution latente q_phi(z|x) (ou d’une distribution a priori p(z) lors de la génération) et tente de reconstruire l’entrée originale x. Plus précisément, le décodeur paramètre une distribution de probabilité p_theta(x|z) sur les données. Par exemple, si les données d’entrée sont des images avec des pixels continus, p_theta(x|z) peut être une gaussienne dont le décodeur prédit la moyenne. Si les données sont binaires, une distribution de Bernoulli peut être utilisée.
L’entraînement des VAEs s’appuie sur l’inférence variationnelle. L’objectif est de maximiser la probabilité marginale des données observées, p(x), ce qui est généralement intraitable. Les VAEs maximisent plutôt une borne inférieure de l’évidence (Evidence Lower BOund, ELBO), notée L(theta, phi; x). Cette ELBO est mathématiquement équivalente à la somme de deux termes : le terme de reconstruction attendue et un terme de régularisation. Maximiser l’ELBO revient à minimiser une fonction de perte qui est la négation de l’ELBO.
La fonction de perte d’un VAE comprend donc deux composantes principales. Le premier terme est la perte de reconstruction, qui mesure la dissimilarité entre l’entrée originale x et sa reconstruction x’ produite par le cycle encodeur-échantillonneur-décodeur. Elle correspond à l’espérance de log p_theta(x|z) où z est échantillonné de q_phi(z|x). Des choix courants pour cette perte sont l’erreur quadratique moyenne pour des données continues ou l’entropie croisée binaire pour des données binaires. Ce terme encourage le VAE à apprendre à encoder et décoder fidèlement les données. Le second terme est une pénalité de régularisation, la divergence de Kullback-Leibler (KL) D_KL(q_phi(z|x) || p(z)). Elle mesure l’écart entre la distribution encodée q_phi(z|x) et une distribution a priori p(z) choisie pour l’espace latent, typiquement une gaussienne standard (moyenne nulle, variance unitaire). Ce terme encourage l’espace latent à être bien structuré, continu et centré autour de l’origine, facilitant l’échantillonnage pour la génération.
Un défi technique majeur dans l’entraînement des VAEs est la rétropropagation du gradient à travers l’étape d’échantillonnage stochastique de z. Pour surmonter cela, les VAEs utilisent le « reparameterization trick » (astuce de reparamétrisation). Au lieu d’échantillonner z directement de q_phi(z|x) = N(mu, sigma^2), on échantillonne une variable auxiliaire epsilon à partir d’une distribution fixe simple, comme N(0,I), puis on calcule z comme une fonction déterministe : z = mu + sigma * epsilon. Ainsi, la stochasticité est déplacée vers epsilon, qui ne dépend pas des paramètres du modèle, permettant aux gradients de la perte de reconstruction de remonter jusqu’aux paramètres mu et sigma de l’encodeur.
L’importance des VAEs réside dans leur capacité à effectuer un apprentissage génératif robuste. Ils peuvent générer de nouvelles instances de données qui ressemblent aux données d’entraînement en échantillonnant des points z de la distribution a priori p(z) et en les passant à travers le décodeur. De plus, ils excellent dans l’apprentissage de représentations latentes significatives et continues des données. Ces représentations peuvent être utilisées pour la réduction de dimensionnalité, la visualisation, et pour comprendre les facteurs de variation sous-jacents aux données. En tant que modèles probabilistes, les VAEs offrent un cadre mathématiquement fondé pour la modélisation de l’incertitude et des distributions complexes. Leur développement a eu un impact considérable sur la recherche en intelligence artificielle, stimulant l’exploration de nouveaux modèles génératifs profonds et d’approches d’inférence.
Les applications pratiques des VAEs sont variées. Dans le domaine de la vision par ordinateur, ils sont utilisés pour la génération d’images, comme la création de visages de personnes qui n’existent pas, ou la génération de nouvelles textures. L’interpolation dans l’espace latent permet de créer des transitions fluides entre des images existantes, par exemple, transformer progressivement un visage en un autre. Au-delà des images, ils peuvent générer de la musique, du texte ou d’autres types de données séquentielles. Les VAEs servent également à la réduction de dimensionnalité non linéaire, apprenant des plongements de faible dimension qui préservent la structure sémantique des données. En détection d’anomalies, les données qui ne se conforment pas à la distribution apprise (ayant une faible probabilité de reconstruction ou un encodage éloigné de la distribution a priori) peuvent être identifiées comme des anomalies. Ils trouvent aussi leur place dans les systèmes de recommandation pour modéliser les préférences des utilisateurs, dans la découverte de médicaments pour générer des structures moléculaires candidates ou prédire leurs propriétés, et en bio-informatique pour analyser des données génomiques ou protéomiques. L’imputation de données, c’est-à-dire compléter des valeurs manquantes dans un jeu de données, est une autre application où les VAEs peuvent être efficaces.
Il existe plusieurs nuances, interprétations et variations des VAEs. Les Conditional VAEs (CVAEs) étendent le modèle de base en permettant la génération conditionnée par des attributs spécifiques, comme une classe d’image ou une caractéristique textuelle. L’encodeur et le décodeur prennent alors en compte cette information conditionnelle. Les Beta-VAEs introduisent un hyperparamètre beta qui pondère le terme de divergence KL dans la fonction de perte. Un beta supérieur à 1 peut encourager un meilleur désenchevêtrement des facteurs de variation dans l’espace latent, où chaque dimension latente tend à correspondre à un attribut sémantique distinct et indépendant des données. Les Vector Quantised-Variational Autoencoders (VQ-VAEs) utilisent un espace latent discret en combinant les VAEs avec des techniques de quantification vectorielle, produisant souvent des reconstructions plus nettes et sont fréquemment associés à des modèles autorégressifs puissants sur l’espace latent discret pour la génération d’échantillons de haute qualité. Les Hierarchical VAEs emploient plusieurs couches stochastiques latentes, permettant de capturer des caractéristiques à différents niveaux d’abstraction. D’autres variations notables incluent les VAEs visant un désenchevêtrement plus explicite (comme FactorVAE ou DCI-sprites), les VAEs pour données séquentielles (comme les Variational Recurrent Neural Networks, VRNNs), et les VAEs adaptés aux structures de graphes. Une interprétation importante des VAEs est celle de l’inférence amortie : l’encodeur apprend une fonction qui mappe efficacement les entrées x aux paramètres de la distribution postérieure approximative q_phi(z|x), amortissant ainsi le coût computationnel de l’inférence pour chaque nouveau point de données, contrairement aux méthodes d’inférence variationnelle traditionnelles qui optimiseraient les paramètres variationnels pour chaque point individuellement.
Plusieurs concepts sont étroitement liés aux VAEs. Les Autoencodeurs (AEs) classiques en sont les précurseurs directs ; cependant, les AEs apprennent un encodage déterministe et leur espace latent n’est généralement pas structuré pour permettre une génération cohérente par échantillonnage. Les Modèles Génératifs Adversariaux (GANs) représentent une autre famille majeure de modèles génératifs profonds, connue pour produire des échantillons souvent plus nets, mais ils peuvent être plus instables à entraîner et souffrir de problèmes tels que l’effondrement de mode (mode collapse). Les VAEs et les GANs diffèrent fondamentalement dans leur approche d’optimisation et leurs propriétés. Les VAEs s’inscrivent dans la catégorie plus large des modèles génératifs, qui inclut également les modèles autorégressifs (PixelRNN, PixelCNN), les flux normalisants (Normalizing Flows), et les modèles basés sur l’énergie (EBMs). Le cadre mathématique de l’inférence bayésienne variationnelle est central à la formulation des VAEs. L’apprentissage de représentations (Representation Learning) est le domaine général auquel les VAEs contribuent significativement. Il n’y a pas d’antonyme direct pour « Variational Autoencoder », mais on peut les contraster avec les modèles discriminatifs (qui apprennent p(y|x) plutôt que la distribution des données p(x) ou la distribution jointe p(x,y)), ou avec les autoencodeurs déterministes en ce qui concerne la nature de l’encodage et la structure de l’espace latent.
L’origine des VAEs modernes remonte à 2013-2014, bien qu’ils s’appuient sur des décennies de recherche en inférence variationnelle, modèles graphiques probabilistes et réseaux de neurones. L’article séminal « Auto-Encoding Variational Bayes » par Diederik P. Kingma et Max Welling, soumis en décembre 2013 et publié en 2014, est largement crédité pour l’introduction du VAE tel que nous le connaissons. Simultanément et indépendamment, Danilo Jimenez Rezende, Shakir Mohamed, et Daan Wierstra ont proposé une approche très similaire dans leur article « Stochastic Backpropagation and Approximate Inference in Deep Generative Models », soumis en janvier 2014. Ces travaux ont marqué un tournant en combinant efficacement les réseaux de neurones profonds avec les principes de l’inférence bayésienne variationnelle pour l’apprentissage génératif. Depuis leur introduction, les VAEs ont connu un développement rapide, avec de nombreuses améliorations, extensions et applications explorées par la communauté de recherche en apprentissage automatique. Leur conception a été influencée par des travaux antérieurs sur des modèles comme les machines de Boltzmann, les modèles de croyance profonds (Deep Belief Networks), et les autoencodeurs débruiteurs.
Les VAEs présentent plusieurs avantages. Leur cadre probabiliste est rigoureux et permet de quantifier l’incertitude associée aux prédictions et aux représentations. L’espace latent appris est continu et structuré, ce qui facilite l’interpolation entre les points de données et la génération d’échantillons nouveaux et significatifs. Leur entraînement est généralement plus stable que celui des GANs. L’encodeur appris peut être réutilisé pour des tâches en aval, telles que la réduction de dimensionnalité ou comme extracteur de caractéristiques pour le transfert d’apprentissage. De plus, l’espace latent des VAEs, en particulier avec certaines variantes comme les Beta-VAEs, offre un potentiel d’interprétabilité, où les dimensions latentes peuvent correspondre à des facteurs de variation sémantiques des données.
Cependant, les VAEs ont aussi des inconvénients et des limitations. Un des reproches fréquents est que les échantillons générés, notamment les images, tendent à être plus flous ou moins nets que ceux produits par les GANs. Ce flou est souvent attribué à la nature de la perte de reconstruction (par exemple, l’erreur L2 ou l’entropie croisée) qui tend à moyenner sur les multiples configurations possibles des données, et à la simplification inhérente à l’approximation de la distribution postérieure. La complexité mathématique des VAEs peut représenter une barrière à l’entrée, car leur compréhension et leur implémentation correctes nécessitent une solide maîtrise des probabilités, des statistiques et de l’inférence variationnelle. L’optimisation de l’ELBO ne garantit pas la maximisation de la log-vraisemblance exacte des données, car l’ELBO n’est qu’une borne inférieure ; la qualité de l’approximation dépend de la capacité de la famille de distributions q_phi(z|x) choisie (souvent gaussienne) à approximer la véritable distribution postérieure. Un problème connu est celui du « posterior collapse » (effondrement postérieur), où le décodeur apprend à ignorer les variables latentes z, ce qui signifie que q_phi(z|x) devient très proche de la distribution a priori p(z) pour toutes les entrées x, et aucune information utile sur x n’est encodée dans z.
Les défis actuels et futurs pour la recherche sur les VAEs incluent l’amélioration de la qualité et de la netteté des échantillons générés, le développement de méthodes plus robustes et plus flexibles pour obtenir un désenchevêtrement contrôlé des facteurs de variation dans l’espace latent, l’adaptation efficace des VAEs à des données de très haute dimension ou à des types de données plus complexes comme les graphes dynamiques ou les données multimodales, et la réduction de l’écart entre l’ELBO et la log-vraisemblance réelle. Malgré ces défis, les VAEs demeurent un outil puissant et flexible dans l’arsenal de l’apprentissage automatique, offrant une approche élégante pour la modélisation générative et l’apprentissage de représentations.