Radial Basis Function Networks
Les Réseaux de Fonctions de Base Radiale, ou Radial Basis Function Networks (RBFN), constituent une classe spécifique de réseaux de neurones artificiels. Leur caractéristique distinctive réside dans l’utilisation de fonctions de base radiale comme fonctions d’activation dans leur couche cachée. Un RBFN est typiquement structuré en trois couches : une couche d’entrée qui reçoit les données brutes, une couche cachée non linéaire basée sur des RBF, et une couche de sortie linéaire qui combine les activations de la couche cachée pour produire le résultat final. Ils sont principalement utilisés pour des tâches d’approximation de fonctions, de classification et de prédiction de séries temporelles.
Les concepts fondamentaux des RBFN reposent sur l’idée de mesurer la similarité entre le vecteur d’entrée et des points prototypes, appelés centres, stockés dans les neurones de la couche cachée. Chaque neurone de la couche cachée calcule une fonction de base radiale (RBF). Une RBF est une fonction dont la valeur dépend uniquement de la distance radiale (généralement euclidienne) entre le point d’entrée et un centre spécifique associé au neurone. La forme la plus courante de RBF est la fonction gaussienne. L’activation d’un neurone RBF est maximale lorsque l’entrée est identique à son centre et diminue de manière monotone à mesure que la distance augmente. Chaque RBF est également caractérisée par une « largeur » ou « échelle » (spread) qui contrôle la rapidité avec laquelle son activation diminue avec la distance. La couche de sortie effectue ensuite une somme pondérée des activations de tous les neurones RBF de la couche cachée. L’apprentissage dans un RBFN implique généralement de déterminer les centres et les largeurs des RBF (souvent par des méthodes non supervisées comme le clustering k-means ou une sélection aléatoire parmi les données d’entraînement) et d’ajuster les poids de la couche de sortie (souvent par une méthode linéaire rapide comme la régression ou la pseudo-inverse).
L’importance des RBFN réside dans leur capacité théorique d’approximation universelle, signifiant qu’ils peuvent approximer n’importe quelle fonction continue sur un ensemble compact avec une précision arbitraire, à condition d’avoir suffisamment de neurones RBF. Historiquement, ils ont gagné en popularité comme alternative aux Perceptrons Multicouches (MLP) en raison de leur phase d’apprentissage souvent plus rapide, car seule la couche de sortie linéaire nécessite généralement un apprentissage itératif de type descente de gradient (ou peut être résolue analytiquement). De plus, la nature locale de l’activation des neurones RBF (chaque neurone répond fortement uniquement à une région limitée de l’espace d’entrée autour de son centre) peut parfois offrir une meilleure interprétabilité et une robustesse accrue au bruit par rapport aux activations globales des MLP. Ils ont joué un rôle significatif dans le développement des méthodes d’apprentissage automatique avant l’avènement massif du Deep Learning.
Les applications pratiques des RBFN sont variées. Ils sont couramment utilisés pour l’approximation de fonctions non linéaires, par exemple pour modéliser des systèmes dynamiques complexes en ingénierie ou en finance. En classification, ils peuvent servir à séparer des classes de données, comme dans la reconnaissance de formes ou le diagnostic médical assisté par ordinateur. La prédiction de séries temporelles est une autre application clé, où les RBFN peuvent modéliser les dépendances temporelles dans des données financières, météorologiques ou industrielles. Ils ont également été appliqués au traitement du signal, notamment pour l’égalisation de canaux de communication ou le filtrage adaptatif. Un exemple concret pourrait être la modélisation de la relation non linéaire entre les paramètres d’un processus chimique et la qualité du produit résultant, ou encore la prédiction à court terme de la consommation d’électricité basée sur des données historiques et des facteurs externes.
Il existe plusieurs nuances et variations concernant les RBFN. Le choix de la fonction de base radiale elle-même peut varier : bien que la gaussienne soit la plus fréquente, d’autres formes comme les fonctions multiquadratiques, multiquadratiques inverses ou les « thin plate splines » peuvent être utilisées, chacune ayant des propriétés mathématiques légèrement différentes. La méthode de détermination des centres et des largeurs des RBF est un aspect crucial et variable ; des approches allant du clustering non supervisé (k-means) à la sélection aléatoire, ou même un apprentissage supervisé complet ajustant les centres et largeurs par descente de gradient (ce qui ralentit l’apprentissage), existent. On distingue aussi les RBFN normalisés, où la somme des activations RBF est normalisée à 1, ce qui peut être interprété dans un cadre probabiliste. Des architectures hybrides combinant RBFN et d’autres modèles sont également explorées. Les Réseaux de Base Radiale Généralisés (GRBFN) étendent le concept de base.
Pour une compréhension holistique, il est utile de connaître les concepts liés aux RBFN. Ils sont un type de Réseau de Neurones Artificiels (ANN). Ils sont souvent comparés au Perceptron Multicouche (MLP), une autre architecture neuronale populaire. Les Machines à Vecteurs de Support (SVM) utilisant un noyau RBF (comme le noyau gaussien) partagent des similarités mathématiques et fonctionnelles avec les RBFN, bien que leur principe d’optimisation (maximisation de la marge) soit différent. Les méthodes de clustering comme k-means sont fréquemment utilisées pour déterminer les centres des RBF. Les RBFN sont fondamentalement liés aux techniques d’interpolation et d’approximation de fonctions multivariées. Le terme « Noyau » (Kernel) dans les méthodes à noyau est un concept très proche de celui de fonction de base radiale. Il n’y a pas d’antonyme direct, mais on peut les contraster avec les modèles linéaires ou les modèles neuronaux dont les unités ont une activation globale plutôt que locale.
L’origine des RBFN se trouve à l’intersection de la théorie de l’approximation et des réseaux neuronaux. Les fonctions de base radiale elles-mêmes ont été étudiées pour l’interpolation de données multivariées dispersées dès les années 1970. L’idée de les utiliser dans une architecture de réseau neuronal a été formalisée et popularisée par David Broomhead et David Lowe dans un article influent de 1988. Ils ont montré comment un RBFN pouvait être vu comme réalisant une forme d’interpolation ou d’approximation de fonction dans un espace de haute dimension. Durant les années 1990, les RBFN ont été largement étudiés et appliqués, offrant une alternative intéressante aux MLP, notamment en raison de leur apprentissage potentiellement plus rapide et de leur base théorique solide issue de la théorie de l’approximation. Bien que leur utilisation directe ait quelque peu diminué avec la montée en puissance des réseaux profonds, les concepts sous-jacents restent pertinents, notamment dans les méthodes à noyau et comme composants spécifiques dans des architectures plus complexes.
Les RBFN présentent plusieurs avantages. Leur structure est relativement simple à comprendre et à mettre en œuvre. La phase d’apprentissage des poids de sortie est linéaire et peut donc être très rapide, voire analytique (via pseudo-inverse), ce qui contraste avec l’apprentissage souvent lent par rétropropagation des MLP. Ils possèdent la propriété d’approximation universelle. Leur nature locale peut être un atout pour l’interprétation et la gestion de données bruitées dans certaines régions spécifiques de l’espace d’entrée. Cependant, ils ont aussi des inconvénients et des limitations notables. Ils souffrent de la « malédiction de la dimensionnalité » : pour couvrir adéquatement un espace d’entrée de haute dimension, le nombre de neurones RBF nécessaires peut croître exponentiellement, rendant le modèle très coûteux en calcul et en mémoire. Leur performance est très sensible au choix des centres, des largeurs et du nombre de neurones RBF, et trouver les paramètres optimaux peut être un défi. Sur des tâches complexes de classification ou d’apprentissage de représentations hiérarchiques (comme la reconnaissance d’images complexes), ils sont souvent surpassés par les SVM ou les réseaux de neurones profonds modernes. La détermination non supervisée des centres peut ne pas être optimale pour la tâche supervisée finale.