3D Human Pose Estimation
L’estimation de la pose humaine en trois dimensions, ou 3D Human Pose Estimation (3D HPE), est un domaine de la vision par ordinateur et de l’intelligence artificielle qui vise à déterminer la configuration spatiale du corps humain, c’est-à-dire la position et l’orientation tridimensionnelles des différentes articulations (comme les coudes, les genoux, les poignets) à partir de données sensorielles. Elle cherche à reconstruire un modèle squelettique ou un maillage corporel représentant la posture d’une personne dans un espace tridimensionnel.
Les concepts fondamentaux de la 3D Human Pose Estimation reposent sur plusieurs piliers. Tout d’abord, la tâche implique la localisation précise des articulations clés du corps humain, souvent appelées « keypoints » ou « joints », dans un système de coordonnées 3D. Les données d’entrée pour accomplir cette tâche peuvent varier considérablement, allant d’images bidimensionnelles (2D) uniques (monoculaires) ou multiples (multi-vues), à des séquences vidéo, des données issues de capteurs de profondeur (comme les caméras RGB-D qui fournissent une carte de profondeur en plus de l’image couleur), ou encore des données provenant de capteurs inertiels (IMU) portés par la personne. La représentation de la pose humaine en 3D peut prendre plusieurs formes : la plus courante est le squelette, un ensemble de points articulaires reliés par des segments osseux. D’autres représentations incluent des maillages corporels paramétriques (comme les modèles SMPL, SCAPE, ou ADAM) qui décrivent non seulement la pose mais aussi la forme du corps, ou des représentations volumétriques. La définition d’un système de coordonnées est également cruciale, distinguant généralement les coordonnées de la caméra, les coordonnées du monde (un référentiel fixe) et les coordonnées relatives au corps. Les modèles cinématiques, qui intègrent des contraintes anatomiques telles que les longueurs des membres fixes ou les limites angulaires des articulations, jouent un rôle important pour produire des poses réalistes. L’apprentissage automatique, et plus spécifiquement les réseaux de neurones profonds (Deep Learning), domine actuellement les approches de 3D Human Pose Estimation, avec des architectures variées comme les réseaux de neurones convolutifs (CNN) pour l’extraction de caractéristiques visuelles, les réseaux de neurones graphiques (GCN) pour modéliser les relations entre les articulations, et plus récemment les Transformers. Les fonctions de perte utilisées pour entraîner ces modèles incluent typiquement la minimisation de l’erreur sur les positions des articulations (par exemple, L1 ou L2), la perte de reprojection (si l’on part d’estimations 3D pour les reprojeter en 2D), ainsi que des pertes favorisant la cohérence temporelle dans les vidéos, la cohérence multi-vues, ou des pertes adversariales pour améliorer le réalisme. Enfin, l’évaluation des performances des systèmes de 3D Human Pose Estimation s’appuie sur des métriques standardisées, telles que l’Erreur Moyenne de Position des Articulations par Joint (MPJPE), sa version alignée par Procrustes (P-MPJPE), le Pourcentage de Joints Corrects (PCK), ou l’Aire sous la Courbe (AUC) du PCK.
L’importance de la 3D Human Pose Estimation est considérable et son impact se fait sentir dans de nombreux domaines. Elle constitue une étape clé vers une compréhension approfondie de l’action, du comportement et des intentions humaines par les machines. En permettant aux systèmes informatiques de percevoir et d’interpréter la posture et le mouvement humains avec précision, la 3D HPE ouvre la voie à des interactions homme-machine (IHM) plus naturelles, intuitives et immersives. Au-delà de l’IHM, elle alimente des avancées significatives dans des secteurs technologiques et scientifiques variés, allant du divertissement à la santé, en passant par la robotique et la sécurité. La capacité à quantifier et analyser le mouvement humain en 3D a des implications directes sur la manière dont nous concevons les technologies interactives, les systèmes d’assistance et les outils d’analyse.
Les applications pratiques de la 3D Human Pose Estimation sont nombreuses et diversifiées. Dans le domaine de la réalité virtuelle (RV) et de la réalité augmentée (RA), elle permet de créer des avatars réalistes qui reproduisent les mouvements de l’utilisateur, améliorant ainsi l’immersion et l’interaction dans les environnements virtuels. L’industrie de l’animation et des jeux vidéo l’utilise pour simplifier la capture de mouvement (motion capture), permettant de générer des animations de personnages plus rapidement et à moindre coût qu’avec les systèmes traditionnels basés sur des marqueurs. Dans le sport, l’analyse de la performance des athlètes bénéficie de la 3D HPE pour optimiser les techniques de mouvement, identifier les points faibles et prévenir les blessures. Le secteur de la santé et de la rééducation l’emploie pour le suivi à distance des patients, l’évaluation objective de la mobilité après une opération ou un AVC, et l’aide au diagnostic de troubles moteurs. En robotique, elle est essentielle pour la collaboration homme-robot sécurisée et pour l’apprentissage par imitation, où un robot apprend une tâche en observant un humain. Les systèmes de surveillance et de sécurité l’utilisent pour la détection d’activités suspectes, l’analyse comportementale dans les foules ou la prévention des chutes chez les personnes âgées. Le commerce de détail explore son potentiel pour les cabines d’essayage virtuelles ou l’analyse du comportement des clients en magasin. Enfin, dans le contexte des véhicules autonomes, la 3D HPE aide à prédire les intentions des piétons et des cyclistes, contribuant à une navigation plus sûre.
Il existe plusieurs nuances et variations du terme 3D Human Pose Estimation. Une distinction majeure se fait entre l’estimation à partir d’une seule image 2D (monoculaire), qui est particulièrement difficile en raison de l’ambiguïté inhérente de la profondeur, et l’estimation à partir de plusieurs vues synchronisées (multi-vues), qui permet de trianguler la position 3D des articulations plus facilement. L’estimation peut aussi être réalisée à partir de séquences vidéo, ce qui permet d’exploiter la cohérence temporelle pour améliorer la robustesse et la précision. On distingue également l’estimation de la pose absolue (coordonnées dans un référentiel monde ou caméra) de l’estimation de la pose relative à la racine du squelette (par exemple, le pelvis). Certaines méthodes se concentrent uniquement sur la structure squelettique, tandis que d’autres visent à estimer simultanément la pose et la forme du corps (3D human shape and pose estimation), souvent en ajustant des modèles paramétriques du corps. Une autre variation concerne le nombre de personnes : l’estimation de la pose d’une seule personne (single-person 3D HPE) est un problème plus simple que l’estimation de la pose de plusieurs personnes simultanément dans une scène (multi-person 3D HPE), qui requiert des étapes supplémentaires de détection et d’association. Les exigences de performance peuvent aussi varier, avec des applications nécessitant une estimation en temps réel (par exemple, pour la RV ou la robotique interactive) et d’autres pouvant se contenter d’un traitement hors ligne (offline) pour une précision maximale. Enfin, des travaux plus récents explorent l’estimation de la pose humaine en interaction avec des objets ou l’environnement, ajoutant une couche de complexité.
Plusieurs concepts sont étroitement liés à la 3D Human Pose Estimation. Le plus direct est la 2D Human Pose Estimation, qui consiste à localiser les articulations dans l’espace image 2D et sert souvent d’étape préliminaire ou de composante dans les pipelines de 3D HPE (une approche courante étant le « lifting » de poses 2D en 3D). La Human Shape Estimation (estimation de la forme du corps humain) est souvent couplée à la 3D HPE pour obtenir une représentation plus complète du corps. Le Body Mesh Recovery (reconstruction du maillage corporel) est une tâche similaire visant à obtenir une surface 3D détaillée du corps. La Motion Capture (MoCap) traditionnelle, utilisant des marqueurs et des systèmes de caméras spécialisés, est considérée comme la méthode de référence (« gold standard ») pour obtenir des données de pose 3D précises, mais la 3D HPE vise à atteindre des résultats comparables de manière non intrusive et avec des équipements moins coûteux. D’autres domaines connexes incluent l’Activity Recognition (reconnaissance d’activité), le Gesture Recognition (reconnaissance de gestes), et le Human Tracking (suivi de personnes), qui utilisent souvent l’information de pose comme entrée. Plus largement, la 3D HPE s’inscrit dans les champs de la Computer Vision (vision par ordinateur) et du Deep Learning. Des termes parfois utilisés comme synonymes partiels incluent 3D Human Skeleton Tracking (lorsqu’il y a une composante temporelle) ou 3D Joint Localization. Il n’existe pas d’antonymes directs, mais on pourrait contraster la 3D HPE avec des approches d’analyse du mouvement qui ne cherchent pas à reconstruire explicitement la structure squelettique, ou avec des concepts comme « pose aléatoire » qui s’opposent à la structure organisée d’une posture humaine.
L’historique de la 3D Human Pose Estimation remonte à plusieurs décennies, bien avant l’avènement du deep learning. Les premières approches, dans les années 1980 et 1990, étaient souvent basées sur des modèles (« model-based »), cherchant à ajuster un modèle 3D du corps humain à des caractéristiques extraites d’images 2D, généralement par des techniques d’optimisation complexes et coûteuses en calcul. L’introduction de capteurs de profondeur abordables au début des années 2010, comme la Microsoft Kinect, a marqué un tournant important, simplifiant grandement la tâche en fournissant directement une information de profondeur. Ces capteurs ont popularisé les méthodes basées sur l’apprentissage automatique, comme les forêts aléatoires, pour la régression directe des positions des articulations. Cependant, la véritable révolution est venue avec l’essor du deep learning à partir de 2012. Les réseaux de neurones convolutifs (CNN) se sont avérés extrêmement efficaces pour apprendre des représentations visuelles robustes à partir d’images. Initialement appliqués avec succès à la 2D HPE, ils ont rapidement été adaptés pour la 3D HPE, soit en régressant directement les coordonnées 3D, soit en utilisant une approche en deux étapes : d’abord estimer la pose 2D, puis « lifter » ces estimations 2D en 3D. La disponibilité de grands ensembles de données annotées en 3D, tels que Human3.6M, MPI-INF-3DHP, et plus récemment AGORA ou EHF, a été cruciale pour entraîner ces modèles gourmands en données. Les tendances actuelles incluent l’utilisation d’architectures plus sophistiquées comme les Transformers pour mieux capturer les dépendances globales, le développement de modèles génératifs pour produire des poses plus réalistes, l’amélioration de la robustesse aux occultations et aux conditions d’éclairage difficiles, et la recherche d’une meilleure généralisation à des environnements non contraints (« in the wild »).
La 3D Human Pose Estimation offre de nombreux avantages, mais elle est également confrontée à des défis et limitations significatifs. Parmi ses principaux avantages, on compte la capacité à fournir une compréhension détaillée et quantitative du mouvement et de la posture humains, ce qui est fondamental pour de nombreuses applications. Elle permet des interactions homme-machine plus naturelles et immersives. Lorsqu’elle est basée sur la vision (caméras RGB), elle est non intrusive, ne nécessitant pas que la personne porte des capteurs. Son large champ d’applications potentielles en fait un domaine de recherche très actif et prometteur.
Cependant, plusieurs défis majeurs persistent. L’ambiguïté de la profondeur est un problème fondamental lors de l’estimation à partir d’images 2D monoculaires : une même projection 2D peut correspondre à une infinité de poses 3D. Les occultations, qu’elles soient causées par des objets de l’environnement ou par le corps lui-même (auto-occultation), rendent difficile la localisation précise des articulations cachées. La grande variabilité de l’apparence humaine (vêtements, coiffures, morphologies diverses) et la complexité de certains mouvements (rapides, acrobatiques, inhabituels) posent également des défis importants aux algorithmes. L’un des obstacles majeurs au progrès est la nécessité de disposer de grandes quantités de données d’entraînement annotées en 3D, dont l’acquisition est coûteuse et laborieuse, surtout pour des scénarios variés et non contraints. Par conséquent, la généralisation des modèles entraînés sur des données de laboratoire à des environnements réels (« in the wild ») reste une difficulté notable. La complexité computationnelle de certains modèles de deep learning peut être un frein pour les applications nécessitant une exécution en temps réel sur des plateformes aux ressources limitées. Les problèmes d’échelle (distance de la personne à la caméra) et de perspective peuvent aussi affecter la précision. L’estimation précise de l’interaction du corps avec l’environnement et les objets est un autre axe de recherche actif. Enfin, bien que la pose globale du corps puisse être estimée avec une précision croissante, la capture de détails fins, tels que les expressions faciales ou les mouvements des doigts, dans le cadre d’une estimation de la pose complète du corps, demeure un défi complexe. Malgré ces limitations, la recherche continue de progresser rapidement, repoussant constamment les frontières de ce qui est possible en matière de 3D Human Pose Estimation.