L’annotation interactive d’instances, ou « Interactive Instance Annotation » en anglais, désigne un processus d’étiquetage de données, principalement des images ou des vidéos, dans lequel un opérateur humain collabore avec un système informatique, souvent assisté par des algorithmes d’intelligence artificielle, pour délimiter et identifier avec précision chaque occurrence individuelle d’objets d’intérêt. Contrairement à l’annotation purement manuelle ou entièrement automatisée, cette approche met l’accent sur une synergie homme machine, où l’humain guide, corrige et valide les propositions de l’outil, optimisant ainsi à la fois la vitesse et la qualité de l’annotation pour des tâches de segmentation d’instances.
Plusieurs concepts fondamentaux et principes essentiels sous tendent l’annotation interactive d’instances. Au cœur de ce processus se trouve la tâche de segmentation d’instances, qui vise non seulement à classer les pixels d’une image (comme dans la segmentation sémantique) mais aussi à distinguer chaque objet individuel appartenant à une même classe (par exemple, identifier chaque voiture distincte dans une rue). L’interaction homme machine est un pilier central, permettant à l’annotateur d’apporter son expertise cognitive pour résoudre les ambiguïtés que les algorithmes seuls peinent à traiter. Ce processus s’inscrit souvent dans une boucle de rétroaction, parfois qualifiée de « human in the loop », où l’outil propose une segmentation initiale ou une aide à la délimitation, l’humain la raffine, et le système peut potentiellement apprendre de ces corrections pour améliorer ses futures suggestions. Les mécanismes d’interaction varient considérablement, allant de simples clics sur des points caractéristiques d’un objet (comme les points extrêmes ou le centre), à la réalisation de « scribbles » (gribouillis) à l’intérieur ou autour de l’objet, en passant par le dessin de boîtes englobantes grossières que l’outil affine ensuite, ou encore la manipulation de polygones assistée par des algorithmes qui « collent » aux contours de l’objet. Les algorithmes sous jacents peuvent être des techniques classiques de traitement d’images comme GrabCut ou des algorithmes basés sur les graphes, mais de plus en plus, ils intègrent des modèles d’apprentissage profond (deep learning) pré entraînés pour la segmentation.
L’importance de l’annotation interactive d’instances est considérable dans le domaine de la vision par ordinateur et de l’intelligence artificielle. Elle est cruciale pour la création des jeux de données de haute qualité nécessaires à l’entraînement, à la validation et au test des modèles d’apprentissage automatique, en particulier ceux destinés à la détection d’objets, à la segmentation sémantique et, bien sûr, à la segmentation d’instances. L’impact de cette méthode se manifeste par une amélioration notable de l’efficacité du processus d’annotation, réduisant le temps et l’effort manuel requis par rapport aux approches traditionnelles. Cela se traduit par une diminution des coûts associés à la préparation des données, rendant la création de datasets à grande échelle plus accessible, même pour des tâches complexes. En conséquence, l’annotation interactive d’instances contribue à accélérer la recherche et le développement dans de nombreux domaines applicatifs, tels que la conduite autonome, l’imagerie médicale, la robotique, la surveillance et l’analyse de scènes visuelles complexes.
Les applications pratiques de l’annotation interactive d’instances sont nombreuses et variées. Dans le secteur médical, elle est utilisée pour délimiter avec précision des structures anatomiques, des tumeurs, des lésions ou même des cellules individuelles sur des images radiologiques, des lames d’histopathologie ou d’autres modalités d’imagerie. Par exemple, un pathologiste peut utiliser un outil interactif pour cliquer sur quelques points d’une cellule anormale, et le système proposera un contour précis de cette cellule, que le spécialiste pourra ensuite ajuster si nécessaire. Dans le domaine des véhicules autonomes, cette technique est essentielle pour annoter les différents acteurs de la route comme les piétons, les cyclistes, les voitures, les camions, et les panneaux de signalisation, en distinguant chaque instance pour permettre au système de conduite de comprendre son environnement de manière détaillée. Un annotateur pourrait, par exemple, tracer une boîte englobante approximative autour d’un piéton, et l’outil affinerait automatiquement le contour pour épouser précisément la silhouette de la personne. D’autres applications incluent l’analyse d’images satellitaires pour l’identification et la cartographie de bâtiments, de routes ou de parcelles agricoles, la robotique pour permettre aux robots de reconnaître et manipuler des objets spécifiques dans leur environnement, ou encore le commerce de détail pour l’analyse de l’agencement des produits en rayon et le suivi des stocks.
Il existe plusieurs nuances et variations du concept d’annotation interactive d’instances. Le degré d’interactivité peut varier considérablement, allant d’une simple validation ou correction de segmentations entièrement automatiques à une collaboration plus étroite où l’humain et la machine construisent conjointement l’annotation. De même, le niveau d’automatisation offert par l’outil peut s’étendre d’une assistance légère, comme la suggestion de points de polygone, à une semi automatisation poussée où l’outil propose des masques d’instance complets à partir d’interactions minimales. Il est important de distinguer l’annotation d’instances, qui identifie chaque objet distinct, de la segmentation sémantique, qui attribue une classe à chaque pixel sans différencier les instances. Des variations spécifiques incluent l’annotation vidéo interactive d’instances, qui doit souvent prendre en compte la cohérence temporelle des objets suivis à travers les images successives d’une vidéo. L’annotation 3D interactive d’instances s’applique quant à elle aux données tridimensionnelles, comme les nuages de points issus de capteurs LiDAR ou les données d’imagerie médicale volumétrique. On parle aussi parfois d’annotation faiblement supervisée interactive, où les interactions humaines sont conçues pour être aussi minimales ou indirectes que possible tout en fournissant suffisamment d’informations pour guider le modèle.
Pour une compréhension holistique, il est utile de considérer les concepts étroitement liés à l’annotation interactive d’instances. La segmentation sémantique et la détection d’objets sont des tâches connexes mais distinctes. L’annotation de données est le terme générique qui englobe toutes les formes d’étiquetage de données. L’apprentissage actif (Active Learning) est une stratégie souvent employée en conjonction, où le modèle d’IA identifie les échantillons les plus incertains ou informatifs à présenter à l’annotateur humain, optimisant ainsi l’effort d’annotation. Le concept de « Human in the Loop Machine Learning » est central, décrivant les systèmes où l’intervention humaine est une composante intégrale du cycle d’apprentissage et d’opération du modèle. De nombreux outils d’annotation, qu’ils soient open source comme LabelMe, CVAT, VGG Image Annotator, ou des plateformes commerciales comme Supervisely, intègrent des fonctionnalités d’annotation interactive d’instances. En termes de synonymie partielle, on peut rencontrer des expressions comme « annotation de segmentation d’instances assistée par ordinateur », « semi automatic instance segmentation » ou « smart/intelligent instance annotation ». À l’opposé, l’annotation manuelle d’instances, où l’annotateur dessine chaque contour point par point sans assistance algorithmique, et l’annotation entièrement automatique d’instances, qui ne nécessite aucune intervention humaine pour la correction, peuvent être considérées comme des antonymes en termes de méthode.
L’évolution de l’annotation interactive d’instances est marquée par une quête constante d’efficacité et de précision. Initialement, l’annotation pour la segmentation d’instances était une tâche laborieuse, souvent réalisée en traçant manuellement des polygones autour de chaque objet. Face à la demande croissante de larges volumes de données annotées pour l’apprentissage profond, la nécessité d’outils plus performants est devenue évidente. Les premiers outils interactifs s’appuyaient sur des algorithmes classiques de traitement d’images, tels que « Intelligent Scissors » (proposant des chemins de coût minimum entre des points cliqués) ou GrabCut (utilisant des itérations de coupes de graphe à partir d’une boîte englobante approximative). Une avancée majeure récente est l’intégration de modèles de deep learning pré entraînés, capables de générer des segmentations de haute qualité à partir d’invites très simples. Par exemple, des modèles comme le Segment Anything Model (SAM) de Meta peuvent segmenter presque n’importe quel objet dans une image à partir d’un simple clic ou d’une boîte, transformant radicalement l’expérience d’annotation interactive. Parallèlement, on a observé un passage d’outils logiciels de bureau vers des plateformes web collaboratives, facilitant le travail d’équipes d’annotateurs distribuées.
L’annotation interactive d’instances présente de nombreux avantages. Le plus significatif est la réduction considérable du temps et de l’effort requis pour annoter des objets par rapport aux méthodes purement manuelles, ce qui peut se traduire par des gains de productivité de plusieurs ordres de grandeur. L’assistance fournie par l’outil peut également conduire à une amélioration de la qualité et de la cohérence des annotations, en particulier pour les objets aux formes complexes ou lorsque les annotations sont réalisées par plusieurs personnes. Elle contribue à réduire la fatigue des annotateurs en automatisant les aspects les plus répétitifs de la tâche. Cependant, cette approche n’est pas sans inconvénients ni défis. La qualité des annotations reste dépendante de la performance de l’outil interactif et des modèles algorithmiques sous jacents ; un outil médiocre peut être plus une entrave qu’une aide. L’utilisation d’outils sophistiqués peut engendrer des coûts, que ce soit pour l’acquisition de logiciels propriétaires ou pour la mise en place de l’infrastructure nécessaire. Un autre risque est que l’outil introduise ses propres biais dans les annotations si ses modèles d’assistance ont été entraînés sur des données non représentatives ou si l’interaction est mal conçue.
Parmi les limitations, l’efficacité de l’annotation interactive peut varier grandement en fonction de la complexité des objets à annoter, de la qualité des images (bruit, faible contraste, occultations) et de l’encombrement de la scène. Pour des objets très ambigus, mal définis, ou fortement enchevêtrés, l’interaction peut devenir aussi laborieuse qu’une annotation manuelle. De plus, si les modèles d’assistance de l’outil ne sont pas généralisables à de nouveaux domaines de données très différents de ceux sur lesquels ils ont été formés, leur utilité peut être limitée. Les défis persistants incluent la conception d’interfaces et de mécanismes d’interaction toujours plus intuitifs et efficaces, le développement de systèmes capables d’apprendre en continu des corrections des annotateurs pour s’améliorer (apprentissage en ligne), la gestion de la subjectivité inhérente à certaines tâches d’annotation, et l’adaptation de ces méthodes pour traiter des volumes de données toujours croissants (passage à l’échelle). L’évaluation rigoureuse de la qualité des annotations produites par des méthodes interactives est également un enjeu important pour garantir la fiabilité des modèles entraînés sur ces données.