Régression Logistique
La Régression Logistique est un algorithme statistique et d’apprentissage automatique supervisé utilisé principalement pour résoudre des problèmes de classification binaire, c’est-à-dire pour prédire la probabilité qu’une observation appartienne à l’une des deux catégories possibles d’une variable dépendante qualitative. Malgré son nom, elle est utilisée pour la classification et non pour la régression au sens de prédiction d’une valeur continue.
Au cœur de la Régression Logistique se trouve la modélisation de la probabilité d’un événement (souvent codé comme 1, par opposition à l’absence de l’événement codé comme 0) en fonction d’un ensemble de variables indépendantes (ou prédicteurs). Contrairement à la régression linéaire qui modélise directement la variable dépendante, la régression logistique modélise le logarithme du rapport des chances (log-odds ou logit) de l’événement. Cette transformation est réalisée à l’aide de la fonction logistique (ou sigmoïde), une fonction en forme de ‘S’ qui transforme une combinaison linéaire des prédicteurs (allant potentiellement de moins l’infini à plus l’infini) en une valeur comprise entre 0 et 1, interprétable comme une probabilité. L’équation fondamentale relie le logit de la probabilité P(Y=1) à une combinaison linéaire des prédicteurs : logit(P) = log(P / (1-P)) = β₀ + β₁X₁ + … + βₚXₚ. Les coefficients (β) sont généralement estimés par la méthode du maximum de vraisemblance (Maximum Likelihood Estimation – MLE), qui cherche les valeurs des coefficients maximisant la probabilité d’observer les données réelles.
L’importance de la Régression Logistique réside dans sa simplicité, son interprétabilité et son efficacité, ce qui en fait l’un des algorithmes de classification les plus fondamentaux et les plus largement utilisés en statistique et en apprentissage automatique. Elle sert souvent de modèle de référence (baseline) pour évaluer les performances de modèles plus complexes. Son interprétabilité est un atout majeur : les coefficients peuvent être transformés en odds ratios (rapports de chances), indiquant comment les chances de l’événement de sortie changent pour une augmentation d’une unité de la variable prédictive correspondante, toutes choses égales par ailleurs. Sa relative faible demande en ressources computationnelles la rend adaptée à de grands jeux de données.
Les applications de la Régression Logistique sont vastes et touchent de nombreux domaines. En médecine, elle est utilisée pour identifier les facteurs de risque de maladies (par exemple, prédire la probabilité de développer une maladie cardiaque en fonction de l’âge, du cholestérol, du tabagisme) ou pour aider au diagnostic. En finance, elle sert à évaluer le risque de crédit (prédire si un client remboursera ou non un prêt), à détecter les transactions frauduleuses ou à prédire les faillites d’entreprises. En marketing, elle permet de prédire la probabilité qu’un client se désabonne (churn), qu’un utilisateur clique sur une publicité en ligne (Click-Through Rate prediction) ou qu’un prospect réponde à une offre. En sciences sociales, elle aide à modéliser des choix binaires comme le vote pour un parti politique ou l’adoption d’une nouvelle technologie. Par exemple, un modèle pourrait prédire la probabilité qu’un électeur vote pour le candidat A en fonction de son âge, de son revenu et de sa localisation géographique.
Bien que la Régression Logistique Binaire (avec deux catégories de sortie) soit la forme la plus courante, il existe des variations pour gérer des variables dépendantes avec plus de deux catégories. La Régression Logistique Multinominale est utilisée lorsque la variable dépendante a trois catégories ou plus qui ne sont pas ordonnées (par exemple, choix entre trois marques de voiture). La Régression Logistique Ordinale (ou modèle à odds proportionnels) est employée lorsque les catégories de la variable dépendante ont un ordre intrinsèque (par exemple, satisfaction client : faible, moyenne, élevée). De plus, pour améliorer la performance du modèle, prévenir le surajustement (overfitting) et gérer la multicolinéarité entre les prédicteurs, des techniques de régularisation comme Lasso (L1) ou Ridge (L2) peuvent être appliquées à la régression logistique, pénalisant la magnitude des coefficients.
La Régression Logistique est étroitement liée à plusieurs autres concepts. Elle est une instance spécifique des Modèles Linéaires Généralisés (GLM), où la fonction de lien est le logit et la distribution d’erreur suit une loi de Bernoulli. Le terme « Modèle Logit » est souvent utilisé comme synonyme. Ses concepts sous-jacents incluent la fonction sigmoïde, le rapport des chances (odds ratio), la log-vraisemblance et l’estimation par maximum de vraisemblance. Elle se distingue clairement de la Régression Linéaire, qui prédit une variable continue et suppose une distribution normale des erreurs. D’autres algorithmes de classification comme les Machines à Vecteurs de Support (SVM), les Arbres de Décision, les Forêts Aléatoires ou les Réseaux de Neurones offrent des approches alternatives, souvent plus flexibles pour capturer des relations non linéaires, mais parfois moins interprétables.
L’histoire de la Régression Logistique remonte aux travaux sur la fonction logistique au 19ème siècle, notamment ceux de Pierre François Verhulst pour modéliser la croissance démographique. Son application en tant que modèle statistique pour analyser des données binaires s’est développée au cours du 20ème siècle, en particulier dans les domaines de la bio-statistique et de l’épidémiologie. L’article influent de David R. Cox en 1958 a grandement contribué à sa popularisation et à sa formalisation en tant que méthode d’analyse de régression pour les données binaires. Son intégration dans le cadre plus général des Modèles Linéaires Généralisés par Nelder et Wedderburn en 1972 a solidifié sa position dans l’arsenal des statisticiens.
Les avantages de la Régression Logistique incluent sa simplicité de mise en œuvre, son efficacité calculatoire, même sur de grands jeux de données, et surtout son interprétabilité. La capacité à obtenir non seulement une classification mais aussi une probabilité associée est très utile pour la prise de décision et l’évaluation du risque. Elle ne requiert pas d’hypothèses fortes comme la normalité des erreurs ou l’homoscédasticité, contrairement à la régression linéaire. Elle est également robuste aux petites violations de ses hypothèses et peut être améliorée par la régularisation.
Cependant, la Régression Logistique présente aussi des inconvénients et des limitations. Son hypothèse fondamentale d’une relation linéaire entre les prédicteurs et le logit de la variable dépendante peut être restrictive ; si la frontière de décision réelle entre les classes est fortement non linéaire, le modèle peut avoir de faibles performances. Elle peut être sensible aux valeurs aberrantes influentes. Elle suppose l’indépendance des observations, ce qui n’est pas toujours vérifié (par exemple, dans les données temporelles ou groupées). La multicolinéarité (forte corrélation entre les variables prédictives) peut poser des problèmes d’estimation et d’interprétation des coefficients, bien que la régularisation puisse atténuer ce problème. Enfin, elle nécessite un nombre suffisant d’observations par catégorie de la variable dépendante et par variable prédictive pour fournir des estimations stables et fiables.