SetTransformers
Set Transformers désignent une architecture de réseau neuronal profond spécifiquement conçue pour traiter des données structurées sous forme d’ensembles (sets). La caractéristique principale de cette architecture est sa capacité à être intrinsèquement invariante aux permutations, ce qui signifie que l’ordre dans lequel les éléments de l’ensemble sont présentés en entrée n’affecte pas le résultat final du traitement. Elle s’appuie fortement sur les mécanismes d’attention, similaires à ceux popularisés par l’architecture Transformer standard initialement développée pour le traitement du langage naturel, mais adaptés aux contraintes spécifiques des ensembles.
Les concepts fondamentaux des Set Transformers reposent sur plusieurs principes clés. Le plus important est l’invariance à la permutation. Contrairement aux séquences où l’ordre est crucial (comme dans une phrase), les éléments d’un ensemble n’ont pas d’ordre intrinsèque. Un modèle traitant des ensembles doit produire la même sortie, quelle que soit la permutation des éléments d’entrée. Les Set Transformers réalisent cela en utilisant des opérations symétriques, notamment les mécanismes d’attention. Un autre principe est la capacité à modéliser les interactions entre les éléments de l’ensemble. Grâce à l’auto-attention (self-attention), chaque élément peut « regarder » les autres éléments de l’ensemble et pondérer leur importance pour calculer sa propre représentation mise à jour. Cela permet de capturer des dépendances complexes au sein de l’ensemble. L’architecture introduit souvent des composants spécifiques comme l’Induced Set Attention Block (ISAB) qui utilise un nombre fixe de « points d’induction » pour réduire la complexité calculatoire de l’auto-attention (qui est quadratique par rapport à la taille de l’ensemble) et la rendre plus scalable. Enfin, pour produire une sortie unique à partir de l’ensemble traité (par exemple, pour une tâche de classification de l’ensemble), un mécanisme d’agrégation comme le Pooling by Multihead Attention (PMA) est utilisé. PMA emploie un petit nombre de vecteurs « graines » (seed vectors) appris pour interroger les représentations des éléments (ou des points d’induction) et les agréger en un vecteur de sortie de taille fixe.
L’importance et la pertinence des Set Transformers découlent du fait que de nombreux problèmes du monde réel impliquent naturellement des données sous forme d’ensembles. Les approches précédentes soit ignoraient la nature ensembliste (en imposant un ordre arbitraire), soit utilisaient des méthodes d’agrégation plus simples (comme la somme ou la moyenne des représentations des éléments, à l’instar de Deep Sets) qui pouvaient perdre des informations sur les interactions fines entre éléments. Les Set Transformers offrent une solution plus puissante et flexible, capable de mieux capturer les relations complexes au sein des ensembles grâce à l’attention. Leur impact est notable dans les domaines nécessitant le traitement de collections non ordonnées d’objets, comme l’apprentissage automatique sur les nuages de points, la détection d’anomalies, la modélisation de systèmes multi-agents, ou même certaines tâches en traitement du langage naturel où l’ordre des mots ou des phrases peut être moins critique. Ils ont contribué à faire progresser l’état de l’art sur plusieurs benchmarks de référence pour l’apprentissage sur ensembles.
Les applications pratiques des Set Transformers sont variées. Dans le domaine de la vision par ordinateur et de la géométrie 3D, ils sont utilisés pour la classification et la segmentation de nuages de points, qui sont essentiellement des ensembles de coordonnées 3D. Par exemple, identifier un objet (une chaise, une table) à partir d’un scan 3D non ordonné. En détection d’anomalies, un Set Transformer peut analyser un ensemble d’observations (par exemple, les caractéristiques de transactions financières) pour identifier des éléments ou des sous-ensembles atypiques. Dans les systèmes de recommandation, ils peuvent modéliser l’historique d’interactions d’un utilisateur (un ensemble d’articles vus ou achetés) pour prédire ses préférences futures. En physique des particules, ils peuvent traiter les ensembles de particules résultant d’une collision pour en prédire les propriétés. En traitement du langage naturel, bien que l’ordre soit souvent important, ils peuvent être utilisés pour la classification de documents en traitant le document comme un ensemble de mots ou de phrases, ou pour générer du texte à partir d’un ensemble de mots-clés non ordonnés.
Il n’existe pas de variations ou d’interprétations radicalement différentes du terme « Set Transformer » lui-même, car il désigne une architecture spécifique introduite dans un article de recherche fondateur. Cependant, des nuances peuvent exister dans les implémentations ou les extensions. Par exemple, différentes formes de mécanismes d’attention pourraient être explorées, ou la manière d’intégrer les informations de position (si disponibles et pertinentes pour certains éléments de l’ensemble) pourrait varier. On peut aussi distinguer les tâches : certaines applications nécessitent une sortie invariante (classification de l’ensemble), tandis que d’autres pourraient nécessiter une sortie équivariante à la permutation (où la sortie change de manière prévisible si l’ordre d’entrée change, par exemple pour une tâche de traduction d’ensemble à ensemble), ce qui peut demander des adaptations architecturales. La configuration des hyperparamètres, comme le nombre de points d’induction dans ISAB ou le nombre de vecteurs graines dans PMA, influence également le comportement et les performances du modèle.
Plusieurs concepts sont étroitement liés aux Set Transformers. Le plus direct est « Deep Sets », une architecture antérieure qui a également abordé l’apprentissage sur ensembles avec invariance à la permutation, mais en utilisant une structure plus simple basée sur l’application d’une fonction à chaque élément suivie d’une opération d’agrégation symétrique (somme, moyenne). Les Set Transformers sont souvent vus comme une amélioration de Deep Sets grâce à l’utilisation de l’attention. Le concept de « Transformer » est évidemment central, les Set Transformers en étant une adaptation. Les « Graph Neural Networks » (GNNs) sont aussi liés, car un ensemble peut être vu comme un cas particulier de graphe (un graphe complet où tous les nœuds sont connectés, ou un graphe sans arêtes si l’on ne considère que les propriétés individuelles). Les mécanismes d’attention sont d’ailleurs fréquents dans les GNNs modernes. Les termes « invariance à la permutation » et « équivariance à la permutation » sont des propriétés mathématiques fondamentales que ces modèles cherchent à satisfaire. Des architectures spécifiques comme « PointNet » et « PointNet++ », conçues pour les nuages de points, partagent l’objectif d’invariance mais utilisent des mécanismes différents (max pooling, structures hiérarchiques).
L’origine des Set Transformers remonte à la publication de l’article « Set Transformer: A Framework for Attention-based Permutation-Invariant Neural Networks » par Juho Lee et al. lors de la conférence ICML 2019. Ce travail s’inscrivait dans un contexte de recherche croissant sur les méthodes d’apprentissage profond capables de traiter des données non structurées ou non séquentielles, comme les ensembles et les graphes. Il capitalisait sur le succès spectaculaire de l’architecture Transformer dans le domaine du langage naturel et proposait une adaptation principled pour les données ensemblistes, en introduisant les blocs ISAB et PMA pour gérer efficacement les interactions intra-ensemble et l’agrégation, tout en garantissant l’invariance à la permutation. Il s’appuyait sur les fondations théoriques posées notamment par l’article sur Deep Sets (Zaheer et al., 2017) qui avait démontré comment construire des fonctions universelles invariantes aux permutations.
Les Set Transformers présentent plusieurs avantages. Leur principal atout est la gestion native et puissante de l’invariance à la permutation via l’attention, permettant de modéliser des interactions complexes entre éléments que des méthodes plus simples pourraient manquer. Ils ont montré d’excellentes performances empiriques sur une variété de tâches impliquant des ensembles. L’architecture est relativement flexible et peut être adaptée à différentes tailles d’ensembles (grâce à ISAB) et différents types de sorties (vecteur unique, ensemble, etc.). Cependant, ils ont aussi des inconvénients et des défis. La complexité calculatoire, bien qu’atténuée par ISAB par rapport à une auto-attention naïve (O(N*M) au lieu de O(N^2), où N est la taille de l’ensemble et M le nombre de points d’induction), peut rester significative pour de très grands ensembles ou de très grandes dimensions. L’interprétabilité des mécanismes d’attention peut être difficile. Comme beaucoup de modèles profonds, ils nécessitent une quantité substantielle de données pour l’entraînement. Le choix des hyperparamètres, notamment le nombre de points d’induction (M) et de vecteurs graines (k), peut nécessiter un ajustement minutieux et influencer les performances. Malgré ISAB, la scalabilité à des ensembles extrêmement volumineux reste un domaine de recherche actif.