La divergence de Kullback-Leibler, souvent abrégée en divergence KL ou D_KL, est une mesure de la différence entre deux distributions de probabilité. Plus précisément, elle quantifie la quantité d’information perdue lorsqu’une distribution de probabilité Q est utilisée pour approximer une distribution de probabilité P. Il ne s’agit pas d’une distance au sens mathématique strict, car elle n’est pas symétrique et ne satisfait pas l’inégalité triangulaire, mais elle fournit un moyen fondamental de comparer la « distance » informationnelle entre deux représentations probabilistes d’un même phénomène.
Les concepts fondamentaux sous-jacents à la divergence KL reposent sur la théorie des probabilités et la théorie de l’information. Elle opère sur deux distributions, P (la distribution « vraie » ou de référence) et Q (la distribution approximative ou modèle). Pour les distributions discrètes, la divergence KL de Q par rapport à P est définie comme la somme, sur tous les événements possibles i, du produit de la probabilité P(i) par le logarithme du rapport P(i) sur Q(i). Pour les distributions continues, la somme est remplacée par une intégrale. La base du logarithme utilisée (généralement le logarithme naturel, base e, ou le logarithme base 2) détermine l’unité de mesure de l’information (nats ou bits, respectivement). Un principe essentiel est sa non-négativité : D_KL(P || Q) est toujours supérieure ou égale à zéro. De plus, la divergence KL est nulle si et seulement si les distributions P et Q sont identiques. Cette propriété la rend utile pour évaluer la fidélité d’une approximation.
L’importance de la divergence KL est considérable dans de nombreux domaines scientifiques et techniques. En statistique, elle est utilisée pour les tests d’hypothèses et la sélection de modèles, permettant de choisir le modèle qui décrit le mieux les données observées en minimisant la perte d’information. En apprentissage automatique, elle joue un rôle crucial comme fonction de coût dans divers algorithmes, notamment les auto-encodeurs variationnels où elle mesure l’écart entre une distribution postérieure approximée et la distribution postérieure réelle, ou dans l’apprentissage par renforcement pour comparer des politiques. En théorie de l’information, elle est directement liée à l’efficacité du codage : D_KL(P || Q) représente le nombre moyen de bits supplémentaires nécessaires pour coder des échantillons provenant de P en utilisant un code optimisé pour Q, plutôt qu’un code optimisé pour P. Son impact se manifeste dans la capacité à quantifier objectivement la divergence entre théorie et observation, ou entre différents modèles explicatifs.
Les applications pratiques de la divergence KL sont variées. Un exemple courant est la sélection de modèles statistiques. Si l’on dispose de plusieurs modèles candidats pour expliquer un ensemble de données, on peut calculer la divergence KL entre la distribution empirique des données et la distribution prédite par chaque modèle, puis choisir le modèle qui minimise cette divergence. Dans le domaine de l’apprentissage variationnel, en particulier avec les auto-encodeurs variationnels (VAEs), la divergence KL est un terme de la fonction de perte qui encourage la distribution latente apprise à se rapprocher d’une distribution a priori simple, comme une gaussienne. En traitement du langage naturel, elle sert à comparer des modèles de langage ou à mesurer la pertinence des thèmes dans des modèles de « topic modeling » comme Latent Dirichlet Allocation (LDA). Par exemple, si P est la distribution réelle de la fréquence des mots dans un corpus et Q est la distribution prédite par un modèle de langage, D_KL(P || Q) quantifie la « surprise » moyenne du modèle face aux données réelles. En bio-informatique, elle peut être utilisée pour analyser des motifs dans les séquences d’ADN ou de protéines.
Il existe plusieurs nuances et interprétations importantes de la divergence KL. La plus notable est son asymétrie : D_KL(P || Q) n’est généralement pas égale à D_KL(Q || P). Cette asymétrie a des implications pratiques. Par exemple, minimiser D_KL(P || Q) tend à produire une distribution Q qui est large là où P est large (mode-covering), tandis que minimiser D_KL(Q || P) tend à produire une Q qui est concentrée sur les modes de P (mode-seeking). Cette propriété la distingue des distances métriques. La divergence KL est un cas particulier d’une famille plus large de mesures appelées f-divergences. Pour obtenir une mesure symétrique, on peut utiliser la divergence de Jensen-Shannon, qui est dérivée de la divergence KL et qui est la racine carrée d’une vraie distance métrique. La divergence KL peut aussi être interprétée comme le gain d’information attendu si l’on passe d’une croyance a priori Q à une croyance a posteriori P.
Plusieurs concepts sont étroitement liés à la divergence KL. L’entropie croisée, H(P, Q), est fréquemment utilisée comme fonction de perte en apprentissage automatique, notamment pour les tâches de classification. Elle est reliée à la divergence KL par la formule H(P, Q) = H(P) + D_KL(P || Q), où H(P) est l’entropie de Shannon de la distribution P. Ainsi, minimiser l’entropie croisée par rapport à Q est équivalent à minimiser la divergence KL lorsque P est fixe. L’information mutuelle entre deux variables aléatoires X et Y peut également être exprimée en termes de divergence KL, mesurant la divergence entre la distribution jointe P(X,Y) et le produit des distributions marginales P(X)P(Y). D’autres mesures de dissimilarité entre distributions incluent la distance de Hellinger, la distance de Bhattacharyya et la distance de variation totale, chacune ayant ses propres propriétés et domaines d’application. Bien qu’il n’y ait pas d’antonyme direct, une faible divergence KL implique une grande similarité entre les distributions. Elle est aussi connue sous les noms d’entropie relative ou de gain d’information.
La divergence de Kullback-Leibler a été introduite en 1951 par Solomon Kullback et Richard Leibler dans leur article « On Information and Sufficiency ». Leurs travaux s’inscrivaient dans le prolongement de la théorie de l’information, dont les fondations avaient été posées par Claude Shannon quelques années auparavant, en 1948. Initialement, la divergence KL a été développée et appliquée dans le contexte des statistiques, notamment pour les tests d’hypothèses et l’étude de la suffisance des statistiques. Au fil du temps, son utilité a été reconnue dans des domaines de plus en plus variés, avec une adoption particulièrement forte en apprentissage automatique et en intelligence artificielle à partir des années 1980 et 1990, en raison de sa capacité à quantifier la différence entre distributions de probabilité, un besoin fondamental dans la modélisation et l’inférence.
La divergence KL présente plusieurs avantages. Elle est solidement ancrée dans la théorie de l’information, ce qui lui confère une interprétation claire en termes de perte d’information ou d’inefficacité de codage. Sa nature directionnelle (asymétrique) peut être un avantage dans certaines applications où le rôle des deux distributions n’est pas interchangeable. Elle est applicable à la fois aux distributions discrètes et continues et est largement utilisée et comprise. Cependant, elle a aussi des inconvénients et des limitations. Son asymétrie peut être un désavantage si une mesure symétrique est requise. Un problème majeur est qu’elle n’est pas définie si la distribution Q assigne une probabilité nulle à un événement auquel la distribution P assigne une probabilité non nulle (Q(x) = 0 alors que P(x) > 0), car cela conduit à un logarithme de zéro ou à une division par zéro. Cela signifie que le support de P doit être inclus dans le support de Q. Des techniques de lissage des distributions sont parfois nécessaires pour contourner ce problème. La divergence KL n’est pas une distance métrique, ce qui peut limiter son usage dans certains contextes géométriques. Son calcul peut devenir complexe pour des distributions en haute dimension ou pour des distributions définies implicitement (par exemple, par un processus génératif). L’estimation de la divergence KL à partir d’échantillons finis peut être biaisée et sa variance élevée. Enfin, l’interprétation de la valeur numérique de la divergence peut être difficile, car il n’existe pas d’échelle universelle permettant de juger si une valeur est « grande » ou « petite » sans contexte spécifique.