2D Semantic Segmentation
La segmentation sémantique 2D, également connue sous le nom d’étiquetage sémantique de pixels en deux dimensions, est une tâche fondamentale de la vision par ordinateur qui consiste à assigner une étiquette de classe sémantique à chaque pixel d’une image numérique 2D. Contrairement à la classification d’images qui attribue une seule étiquette à l’ensemble de l’image, ou à la détection d’objets qui localise des objets avec des boîtes englobantes, la segmentation sémantique fournit une compréhension beaucoup plus fine et détaillée du contenu de l’image en délimitant précisément les régions appartenant à différentes catégories d’objets ou de concepts (par exemple, route, voiture, piéton, bâtiment, ciel, végétation). Le résultat est une carte de segmentation, de même taille que l’image d’entrée, où chaque pixel est coloré ou codé en fonction de la classe à laquelle il a été assigné.
Les concepts fondamentaux de la segmentation sémantique 2D reposent sur la capacité à comprendre le contexte local et global d’une image. L’objectif est de produire une partition de l’image en régions sémantiquement cohérentes. Pour ce faire, les algorithmes doivent non seulement reconnaître la présence d’objets, mais aussi délimiter leurs frontières exactes au niveau du pixel. Traditionnellement, des approches basées sur des caractéristiques extraites manuellement (comme la texture, la couleur, les gradients) et des classificateurs classiques (comme les machines à vecteurs de support ou les forêts aléatoires) ont été utilisées. Cependant, l’avènement de l’apprentissage profond, en particulier les réseaux de neurones convolutifs (CNN), a révolutionné ce domaine. Les CNN apprennent automatiquement des hiérarchies de caractéristiques pertinentes directement à partir des données brutes. Des architectures spécifiques, telles que les réseaux entièrement convolutifs (Fully Convolutional Networks – FCN), les architectures encodeur-décodeur (par exemple, U-Net, SegNet), et les modèles utilisant des convolutions dilatées (ou atrous convolutions, comme dans DeepLab), sont couramment employées. L’encodeur réduit progressivement la résolution spatiale de l’image tout en augmentant la profondeur des caractéristiques (capturant l’information sémantique), tandis que le décodeur augmente la résolution spatiale pour produire une carte de segmentation dense. Les fonctions de perte, comme l’entropie croisée (cross-entropy) par pixel ou la perte de Dice (Dice loss, particulièrement utile pour les classes déséquilibrées), guident l’apprentissage du modèle. L’évaluation des performances se fait typiquement à l’aide de métriques telles que l’exactitude des pixels (pixel accuracy) et, plus important encore, l’Intersection sur Union (IoU) moyenne par classe (mean IoU), qui mesure le chevauchement entre la région prédite et la vérité terrain pour chaque classe.
L’importance de la segmentation sémantique 2D réside dans sa capacité à fournir une compréhension granulaire et localisée du contenu visuel, ce qui est crucial pour de nombreuses applications nécessitant une interaction intelligente avec l’environnement. Elle transforme une simple matrice de pixels en une représentation structurée et interprétable de la scène, permettant une analyse spatiale fine. Cet outil est fondamental pour des tâches de raisonnement de plus haut niveau, comme la compréhension de scènes complexes, la navigation autonome ou l’interaction homme-machine. Son impact est significatif dans des secteurs où l’automatisation de la perception visuelle peut améliorer l’efficacité, la sécurité et la prise de décision. Par exemple, dans le domaine médical, elle peut aider à des diagnostics plus rapides et plus précis. En robotique, elle permet aux robots de mieux percevoir et interagir avec leur environnement.
Les applications pratiques de la segmentation sémantique 2D sont vastes et variées. Dans le domaine de la conduite autonome, elle est essentielle pour identifier les voies de circulation, les piétons, les autres véhicules, les feux de signalisation et les obstacles, permettant ainsi au véhicule de prendre des décisions de navigation sûres. En imagerie médicale, elle est utilisée pour segmenter des organes, des tumeurs, des lésions ou d’autres structures anatomiques à partir de radiographies, d’IRM ou de scanners CT, aidant au diagnostic, à la planification chirurgicale et au suivi des traitements. L’imagerie satellitaire et aérienne bénéficie de la segmentation sémantique pour la cartographie de l’occupation des sols, la surveillance de la déforestation, la détection de changements environnementaux, l’urbanisme et l’agriculture de précision (par exemple, identifier les types de cultures ou les zones nécessitant une irrigation). En robotique, elle permet aux robots de comprendre leur environnement pour la navigation, la manipulation d’objets et l’interaction sécurisée. La réalité augmentée l’utilise pour superposer des informations ou des objets virtuels de manière réaliste sur le monde réel en comprenant la géométrie et la sémantique de la scène. Elle est également employée dans l’édition d’images et de vidéos pour des tâches comme la sélection d’objets, le remplacement d’arrière-plan ou l’application d’effets spécifiques à certaines régions.
Il existe plusieurs nuances et variations du concept de segmentation sémantique. Il est important de la distinguer de la segmentation d’instance, qui non seulement classe chaque pixel mais distingue également les différentes instances d’une même classe (par exemple, identifier « voiture 1 », « voiture 2 » plutôt que simplement « voiture »). La segmentation panoptique combine la segmentation sémantique et la segmentation d’instance, fournissant une étiquette de classe et une identité d’instance pour chaque pixel. On trouve également des approches de segmentation sémantique faiblement supervisée, qui tentent de réduire la dépendance coûteuse aux annotations au niveau du pixel en utilisant des formes de supervision plus faibles, comme des étiquettes au niveau de l’image, des boîtes englobantes ou des gribouillis. La segmentation sémantique en temps réel est une autre variation cruciale pour les applications comme la conduite autonome, où la vitesse d’inférence est critique. L’adaptation de domaine (domain adaptation) en segmentation sémantique vise à entraîner un modèle sur un domaine source (par exemple, des images synthétiques) et à le faire bien performer sur un domaine cible (par exemple, des images réelles) où les annotations sont rares ou absentes.
Plusieurs concepts sont étroitement liés à la segmentation sémantique 2D. La classification d’image est une tâche plus simple qui attribue une seule étiquette à l’image entière. La détection d’objets localise les objets avec des boîtes englobantes et les classe, mais ne fournit pas de délimitation précise au pixel près. Comme mentionné, la segmentation d’instance et la segmentation panoptique sont des tâches plus complexes qui s’appuient sur des principes similaires. L’analyse de scène (scene understanding) est un objectif plus large de la vision par ordinateur auquel la segmentation sémantique contribue de manière significative. Des termes parfois utilisés comme synonymes incluent l’étiquetage sémantique de pixels (pixel-level semantic labeling) ou la classification dense de pixels (dense pixel classification). Il n’y a pas d’antonyme direct, mais des tâches comme la régression (prédire des valeurs continues) sont fondamentalement différentes.
L’historique de la segmentation sémantique remonte aux premières tentatives de traitement d’images, avec des méthodes basées sur le seuillage, la croissance de régions, la détection de contours et les approches basées sur des modèles graphiques comme les champs aléatoires conditionnels (Conditional Random Fields – CRF). L’introduction de l’apprentissage automatique, notamment avec les machines à vecteurs de support (SVM) et les forêts aléatoires (Random Forests) utilisant des caractéristiques extraites manuellement, a marqué une amélioration notable. Cependant, la véritable révolution est venue avec l’apprentissage profond. La publication du réseau entièrement convolutif (FCN) par Long et al. en 2015 est souvent considérée comme un tournant majeur, démontrant la capacité des CNN à effectuer une segmentation sémantique de bout en bout avec une précision sans précédent. Depuis, de nombreuses architectures sophistiquées ont été proposées, telles que U-Net (particulièrement populaire en imagerie médicale), SegNet, la famille DeepLab (qui a popularisé l’utilisation des convolutions dilatées et des CRF post-traitement), PSPNet, et plus récemment les architectures basées sur les transformeurs (Transformers). L’évolution continue vers des modèles plus précis, plus rapides, nécessitant moins de données annotées, et capables de gérer un plus grand nombre de classes avec une meilleure robustesse.
La segmentation sémantique 2D offre de nombreux avantages, notamment une compréhension détaillée et spatialement précise de la scène visuelle, ce qui est inestimable pour de nombreuses applications. Elle permet d’extraire des informations riches qui vont au-delà de la simple reconnaissance d’objets. Cependant, elle présente aussi des inconvénients et des défis. Le principal défi est le coût et la difficulté de l’annotation des données : la création de masques de segmentation précis au pixel près pour l’entraînement est un processus long et laborieux. La segmentation d’objets petits, fins, rares ou dont l’apparence varie considérablement reste difficile. Les frontières entre les classes peuvent être intrinsèquement floues ou ambiguës, ce qui complique la tâche. Les modèles de segmentation sémantique nécessitent généralement de grandes quantités de données labellisées pour atteindre de bonnes performances, et leur généralisation à de nouveaux domaines, conditions d’éclairage ou points de vue peut être limitée. Le coût computationnel pour l’entraînement de modèles profonds et pour l’inférence, surtout en temps réel sur des dispositifs embarqués, peut être élevé. Il peut y avoir confusion entre des classes sémantiquement similaires (par exemple, « route » et « trottoir »). Enfin, une limitation inhérente est qu’elle ne distingue pas les instances individuelles d’une même classe ; pour cela, la segmentation d’instance ou panoptique est nécessaire. Malgré ces défis, la recherche active continue de repousser les limites de la segmentation sémantique 2D, améliorant constamment sa précision, son efficacité et son applicabilité.