Synthèse de vues nouvelles à haute gamme dynamique
La Synthèse de vues nouvelles à haute gamme dynamique (High Dynamic Range Novel View Synthesis, souvent abrégé en HDR NVS) est un processus computationnel avancé relevant des domaines de l’infographie et de la vision par ordinateur. Sa définition fondamentale réside dans la capacité à générer des images photoréalistes d’une scène tridimensionnelle à partir de points de vue arbitraires, non présents dans les données de capture initiales, tout en préservant fidèlement l’intégralité de la plage d’intensités lumineuses (la gamme dynamique) de la scène originale. Contrairement à la synthèse de vues nouvelles standard (LDR NVS), qui opère sur des images à faible gamme dynamique (typiquement 8 bits par canal de couleur), l’HDR NVS vise à reproduire les variations subtiles dans les ombres profondes ainsi que les détails dans les hautes lumières intenses, capturant ainsi une représentation beaucoup plus fidèle de l’éclairage réel.
Les concepts fondamentaux sous-jacents à l’HDR NVS combinent les principes de la synthèse de vues nouvelles et ceux de l’imagerie à haute gamme dynamique. La synthèse de vues nouvelles (NVS) repose sur l’acquisition d’un ensemble de vues d’une scène (images ou vidéos) et sur la construction d’une représentation interne de cette scène (géométrie 3D et apparence des surfaces). Cette représentation peut prendre diverses formes : nuages de points, maillages texturés, représentations volumétriques, ou plus récemment, des champs de radiance neuronaux (Neural Radiance Fields – NeRF). À partir de cette représentation, de nouvelles vues sont calculées par interpolation ou extrapolation. L’aspect « Haute Gamme Dynamique » (HDR) ajoute une couche de complexité et de réalisme. Il implique que les données d’entrée sont capturées en HDR (souvent via bracketing d’exposition ou des capteurs spécialisés) et que la représentation de la scène ainsi que le processus de rendu sont capables de gérer et de reproduire des valeurs de luminance physiquement plausibles, couvrant plusieurs ordres de grandeur, bien au-delà de ce que les formats LDR standards peuvent représenter. Cela inclut la modélisation précise des effets d’éclairage complexes comme les réflexions spéculaires intenses, les caustiques, la transluminescence et l’éclairage global subtil.
L’importance de l’HDR NVS est considérable dans plusieurs domaines technologiques et créatifs. Son principal attrait réside dans sa capacité à générer des visualisations d’un réalisme sans précédent. En capturant et en reproduisant fidèlement l’éclairage naturel ou artificiel d’une scène, l’HDR NVS permet de créer des expériences beaucoup plus immersives en réalité virtuelle (VR) et en réalité augmentée (AR). Pour l’industrie cinématographique et les effets visuels (VFX), elle offre la possibilité de générer des plans de caméra virtuels ou des arrière-plans (plateaux virtuels) qui s’intègrent de manière transparente avec des séquences filmées en HDR, simplifiant l’intégration d’éléments générés par ordinateur (CGI) dans des prises de vues réelles. Dans le domaine de la simulation, de l’architecture, du design de produits ou de la préservation du patrimoine culturel, l’HDR NVS permet d’explorer virtuellement des environnements ou des objets avec un éclairage et des reflets réalistes, améliorant la compréhension et l’appréciation des détails.
Les applications pratiques de l’HDR NVS sont diverses. En VR, on peut imaginer des visites virtuelles de biens immobiliers ou de sites touristiques où l’éclairage change dynamiquement et de manière réaliste en fonction de l’heure virtuelle de la journée ou de la position de l’observateur. En AR, une application pourrait permettre de visualiser un meuble virtuel dans une pièce réelle, en faisant en sorte que le meuble virtuel reçoive et projette des ombres et des reflets cohérents avec l’éclairage HDR de la pièce. Dans le secteur du commerce électronique, l’HDR NVS permettrait aux clients d’inspecter des produits complexes (comme des bijoux ou des voitures) sous différents angles et conditions d’éclairage simulées, en reproduisant fidèlement l’apparence des matériaux brillants ou réfléchissants. Un autre exemple concret est la création de « jumeaux numériques » (digital twins) d’usines ou d’infrastructures, où l’éclairage précis est crucial pour la planification de la maintenance ou les simulations de sécurité.
Il existe différentes nuances et approches dans la mise en œuvre de l’HDR NVS. Les méthodes varient en fonction de la représentation de scène choisie (explicite comme les maillages, ou implicite comme les NeRFs), de la densité des données d’entrée requises (vues éparses ou denses), et de la capacité à gérer des scènes dynamiques (en mouvement) ou à permettre le « relighting » (modification de l’éclairage de la scène après capture). Les NeRFs, par exemple, se sont montrés particulièrement prometteurs pour l’HDR NVS car leur nature volumétrique et leur capacité à apprendre des dépendances directionnelles complexes de la lumière leur permettent de modéliser nativement des effets comme les reflets spéculaires, essentiels en HDR. Certaines variations se concentrent sur l’optimisation pour le rendu en temps réel, un défi majeur compte tenu de la complexité des calculs HDR. D’autres explorent l’utilisation de données non conventionnelles, comme les données de capteurs Light Field HDR.
Plusieurs concepts sont étroitement liés à l’HDR NVS. La « Synthèse de Vues Nouvelles » (NVS) ou « Rendu Basé Image » (Image-Based Rendering – IBR) en sont les fondements. L' »Imagerie à Haute Gamme Dynamique » (HDR Imaging) est l’autre pilier technologique indispensable. Des techniques comme la « Photogrammétrie » et le « Multi-View Stereo » (MVS) sont souvent utilisées pour obtenir la géométrie 3D initiale. Les « Champs de Radiance Neuronaux » (NeRF) représentent l’état de l’art pour de nombreuses tâches NVS, y compris HDR NVS. Le « Rendu Physiquement Réaliste » (Physically Based Rendering – PBR) partage l’objectif de simuler fidèlement l’interaction lumière-matière. Le « Tone Mapping » est un processus connexe mais distinct, qui consiste à adapter une image HDR pour l’affichage sur un écran LDR, tandis que l’HDR NVS vise à *générer* la vue en HDR. Un antonyme serait « Synthèse de Vues Nouvelles à Faible Gamme Dynamique » (LDR NVS).
Historiquement, l’HDR NVS est le résultat de la convergence progressive des recherches en NVS/IBR (dès les années 1990) et en imagerie HDR. Les premières approches NVS utilisaient principalement des données LDR. L’intérêt pour l’HDR s’est développé avec la disponibilité croissante de techniques de capture HDR et la demande pour plus de réalisme. Initialement, l’HDR était parfois ajouté a posteriori, par exemple en utilisant des textures HDR sur des modèles 3D reconstruits. Cependant, l’intégration native de l’HDR dans le processus de synthèse est plus récente, propulsée notamment par les avancées en apprentissage profond et l’émergence des NeRFs vers 2020, qui ont démontré une capacité remarquable à modéliser implicitement des scènes complexes incluant des effets d’éclairage dépendant de la vue, cruciaux pour un rendu HDR fidèle. Des variantes de NeRF spécifiquement conçues pour gérer les données HDR (parfois appelées HDR-NeRF) ont ensuite été développées.
Les avantages de l’HDR NVS résident principalement dans le niveau de réalisme et d’immersion inégalé qu’elle permet d’atteindre, la fidélité de la reproduction de l’éclairage, et la flexibilité offerte par la génération de vues arbitraires. Cependant, le concept présente aussi des inconvénients, des défis et des limitations. La capture de données HDR multi-vues est plus complexe et exigeante que la capture LDR (nécessité de bracketing, matériel spécifique, calibration précise). Le coût computationnel, tant pour l’apprentissage des modèles (si des méthodes neuronales sont utilisées) que pour le rendu des vues nouvelles, est significativement plus élevé qu’en LDR, rendant le temps réel difficile à atteindre pour des scènes complexes et des résolutions élevées. La reconstruction de surfaces très spéculaires, transparentes ou de détails géométriques fins reste un défi. La gestion des scènes dynamiques (objets en mouvement, éclairage changeant) complexifie considérablement le problème. Enfin, la qualité du résultat dépend fortement de la qualité, de la densité et de la couverture des vues d’entrée, et des artefacts visuels (flou, fantômes, incohérences géométriques ou d’éclairage) peuvent apparaître si la représentation de la scène ou les données d’entrée sont imparfaites. La quantité de mémoire nécessaire pour stocker les données HDR et les représentations de scène complexes peut également être une limitation pratique.