Randomized Smoothing
Le Randomized Smoothing, ou lissage aléatoire en français, est une technique de défense utilisée en apprentissage automatique, et plus particulièrement dans le domaine de la robustesse des réseaux de neurones profonds, pour construire un nouveau classifieur, dit « lissé », à partir d’un classifieur de base. Ce classifieur lissé possède la propriété remarquable de pouvoir être certifié robuste à des perturbations adversariales bornées, c’est-à-dire que sa prédiction reste constante pour toute entrée dans un voisinage défini autour d’une entrée donnée, sous certaines conditions.
Les concepts fondamentaux du Randomized Smoothing reposent sur l’idée de la convolution. Étant donné un classifieur de base f (par exemple, un réseau de neurones), on construit un classifieur lissé g. Pour une entrée x donnée, la prédiction g(x) est définie comme la classe la plus probable que le classifieur de base f prédit lorsque l’entrée x est perturbée par un bruit aléatoire issu d’une distribution spécifique, souvent une distribution Gaussienne isotrope. Formellement, g(x) est la classe c qui maximise la probabilité P(f(x + δ) = c), où δ est une variable aléatoire de bruit. L’élément clé est que cette construction permet, sous certaines conditions et avec une probabilité élevée (souvent contrôlée par un nombre d’échantillons Monte Carlo), de garantir que la prédiction de g(x) ne changera pas si l’entrée x est modifiée par une perturbation adversariale dont la norme (par exemple, L2) est inférieure à un certain rayon. Ce rayon de robustesse certifié peut être calculé explicitement et dépend de la variance du bruit et de la différence entre la probabilité de la classe prédite et celle de la « deuxième » classe la plus probable.
L’importance du Randomized Smoothing réside principalement dans sa capacité à fournir des garanties de robustesse prouvables, contrairement à de nombreuses défenses heuristiques qui ont été par la suite contournées par des attaques plus sophistiquées. Dans un contexte où les modèles d’apprentissage profond sont de plus en plus déployés dans des applications critiques (véhicules autonomes, diagnostic médical, systèmes financiers), leur vulnérabilité aux attaques adversariales – des modifications subtiles et souvent imperceptibles des entrées conçues pour tromper le modèle – est une préoccupation majeure. Le Randomized Smoothing offre une approche scalable et théoriquement fondée pour atténuer ce risque. Il se distingue de l’entraînement adversarial, qui améliore la robustesse empirique mais offre rarement des garanties formelles, et des méthodes de vérification formelle, qui peuvent être coûteuses en calcul et limitées à des réseaux de petite taille. Son impact se traduit par une confiance accrue dans la fiabilité des systèmes d’IA.
Les applications pratiques du Randomized Smoothing concernent principalement la robustesse certifiée des classifieurs d’images. Par exemple, un classifieur d’images lissé peut garantir que sa prédiction (par exemple, « chat ») ne changera pas même si chaque pixel de l’image d’un chat est légèrement modifié, tant que la magnitude totale de la modification (mesurée par une norme Lp, typiquement L2) reste en dessous d’un seuil calculable. Cette technique a été étendue à d’autres domaines comme la détection d’objets robuste et, plus récemment, des travaux explorent son application au traitement du langage naturel ou à l’audio. Son utilisation est pertinente dans les systèmes où une décision incorrecte due à une manipulation malveillante pourrait avoir des conséquences graves. L’inférence avec un classifieur lissé implique typiquement de faire passer de multiples versions bruitées de l’entrée à travers le classifieur de base et d’agréger les résultats par un vote majoritaire, ce qui permet d’estimer les probabilités nécessaires à la certification.
Il existe plusieurs nuances et variations du Randomized Smoothing. Le choix de la distribution de bruit (par exemple, Gaussienne, Laplacienne, bruit discret) est crucial et affecte le type de robustesse certifiée (par exemple, robustesse L2 pour le bruit Gaussien, L1 pour le bruit Laplacien) ainsi que la taille du rayon de robustesse. Des recherches ont exploré des distributions de bruit plus adaptées à des types spécifiques de perturbations ou de données. Des variations de la méthode visent à améliorer l’efficacité de l’estimation des probabilités, par exemple en utilisant des techniques d’échantillonnage plus sophistiquées ou en dérivant des bornes plus serrées. Un compromis important existe entre la robustesse certifiée et la précision du modèle sur les données « propres » (non bruitées) : un lissage plus fort (par exemple, avec une variance de bruit plus élevée) tend à augmenter le rayon de robustesse certifié mais peut dégrader la performance sur les entrées non perturbées. Des travaux visent aussi à étendre le Randomized Smoothing au-delà de la classification, par exemple à la régression ou à la détection sémantique.
Plusieurs concepts sont étroitement liés au Randomized Smoothing. La robustesse adversariale est le champ d’étude général qui englobe ce terme. Les attaques adversariales sont les techniques utilisées pour générer des entrées trompeuses, tandis que les défenses adversariales regroupent les méthodes pour y résister, dont le Randomized Smoothing est un exemple notable. L’entraînement adversarial est une autre technique de défense populaire, mais qui se concentre sur l’amélioration empirique de la robustesse en incluant des exemples adversariaux dans le processus d’entraînement. La vérification formelle des réseaux de neurones vise également à prouver des propriétés de robustesse, mais utilise souvent des solveurs SMT ou des techniques d’abstraction interprétation, qui peuvent être moins scalables. La certification de robustesse est l’objectif principal du Randomized Smoothing. Bien que le terme « régularisation stochastique » (comme le dropout) implique l’ajout de bruit pendant l’entraînement, son but premier est généralement d’améliorer la généralisation, tandis que le Randomized Smoothing est spécifiquement conçu et analysé pour la robustesse certifiée à l’inférence. Un concept antonyme serait celui de modèles fragiles ou non robustes, qui sont hautement sensibles aux petites perturbations.
L’idée d’utiliser le bruit pour améliorer la robustesse n’est pas entièrement nouvelle, mais le cadre formel du Randomized Smoothing pour la certification de robustesse a gagné en proéminence plus récemment. Les travaux de Lecuyer et al. (2019) ont jeté des bases importantes en connectant le lissage par convolution à la robustesse différentielle. Peu après, Cohen, Rosenfeld et Kolter (2019) ont popularisé et solidifié la méthode en fournissant des certificats L2 serrés pour les classifieurs lissés avec du bruit Gaussien, ainsi que des algorithmes pratiques et scalables pour l’entraînement et la certification. Depuis, de nombreuses recherches ont étendu cette approche, par exemple en améliorant les algorithmes d’échantillonnage, en explorant différentes distributions de bruit, en l’appliquant à divers types de perturbations (au-delà des normes Lp), et en l’adaptant à des tâches plus complexes que la simple classification d’images. L’évolution continue vise à obtenir des rayons de robustesse plus larges tout en maintenant une haute précision et en réduisant le coût computationnel.
Le Randomized Smoothing présente plusieurs avantages significatifs. Son atout majeur est la fourniture d’une robustesse certifiée, offrant une garantie mathématique contre une classe spécifique d’attaques, ce qui est rare parmi les défenses. Il est relativement scalable et peut être appliqué à des réseaux de neurones de très grande taille, contrairement à de nombreuses techniques de vérification formelle. De plus, il est largement agnostique au modèle, signifiant qu’il peut être appliqué à un classifieur de base pré-entraîné sans nécessiter de modification de son architecture ou de son processus d’entraînement initial (bien que l’entraînement avec du bruit puisse améliorer les résultats). Son implémentation est également considérée comme relativement simple.
Cependant, la méthode comporte aussi des inconvénients et des limitations. La certification est de nature probabiliste et sa validité dépend d’une estimation correcte des probabilités par échantillonnage Monte Carlo, ce qui requiert un nombre suffisant d’échantillons. Un inconvénient notable est la potentielle dégradation de la précision sur les données non bruitées (clean accuracy), car le lissage peut rendre le classifieur moins apte à distinguer les classes proches. Le rayon de robustesse certifié, bien que prouvable, peut parfois être relativement petit, limitant la protection effective contre des perturbations plus importantes. L’inférence avec un classifieur lissé est plus coûteuse en calcul que l’inférence avec le classifieur de base, car elle nécessite de multiples évaluations du modèle sur des entrées bruitées. Enfin, la robustesse certifiée est spécifique au type de bruit utilisé pour le lissage (par exemple, le lissage Gaussien certifie contre les perturbations L2, mais pas nécessairement contre d’autres normes ou types de transformations).
Les défis actuels incluent l’amélioration du compromis entre la précision sur les données propres et la robustesse certifiée, l’extension des garanties à des familles de perturbations plus riches et plus structurées (comme les déformations spatiales ou les changements sémantiques), et la réduction du coût computationnel associé à la certification, notamment le nombre d’échantillons requis.